iT邦幫忙

llm相關文章
共有 339 則文章
鐵人賽 DevOps DAY 20

技術 Day20 - LLM 回應品質監控:幻覺偵測與三層防護實作

🔹 前言 昨天我們談到 延遲、Token 與成本 的監控,確保系統「跑得快、花得省」。 但如果模型輸出的答案是錯的呢? 👉 在 LLM 應用中,Hallucin...

鐵人賽 AI & Data DAY 21

技術 Day 21|什麼是 AI Agent?

在前面我們介紹了 RAG 與 RAGAS,這些方法主要是解決 『如何讓 LLM 回答得更正確』 的問題。但隨著應用需求不斷升級,其實不少學者也開始思考:如果我們...

鐵人賽 生成式 AI DAY 19

技術 Day 19 - Semantic Kernel Multi-Agent 實戰 - Concurrent Orchestration Agent 併發協作多語言翻譯任務

今天要來看另一種相對穩定且簡單的多 Agent 的類型,Concurrent Orchestration 一種「多位專家代理同時平行協作」的多代理協作模式。Co...

鐵人賽 DevOps DAY 19

技術 【Day 19】AI Gateway 深度選型:從流量代理到智能控制平面

前言 在 LLM 應用從小規模 PoC 走向生產環境的過程中,AI Gateway 不再只是簡單的 API 轉發器,它已經演變為關鍵的「AI 控制平面」。 選...

鐵人賽 生成式 AI DAY 18

技術 Day 18 - Semantic Kernel Multi-Agent 實戰 - Magentic Agent 重塑公關危機應對

今天要來看另一種多 Agent 的應用,Magentic Orchestration 是一種「由一位 Magentic Manager 依情境動態指派、協調多位...

鐵人賽 DevOps DAY 18

技術 【Day 18】探討 AI Gateway 架構:LLM 基礎設施的守護神

前言 大型語言模型(LLM)的浪潮正以前所未有的速度席捲各行各業。從 OpenAI 的 GPT 系列、Anthropic 的 Claude,到 Google...

鐵人賽 AI & Data DAY 17

技術 【Day 17】反思 Notion 架構與 Database 設計:為 LLM 打好地基

在前 16 天,我們已經把 Notion 筆記一路轉換:從 JSON → SQLite → Chunking → Embedding → Chroma DB,建...

鐵人賽 DevOps DAY 17

技術 【Day 17】終結 LLM 應用混沌:AG-UI 協議如何統一通訊介面

當前,人工智慧的發展已經進入一個新紀元。從 OpenAI、Google 到 Anthropic,各大巨頭皆有能力開發出執行深度研究、編寫程式碼 (IDE) 或...

鐵人賽 生成式 AI DAY 17

技術 Day 17: Semantic Kernel Multi-Agent 實戰 - 群組討論 Agent 協作

今天要來看另一種多 Agent 的應用場景:群組討論。這種情境下,會有多個 Agent,每個 Agent 可能扮演不同的角色,進行群組討論,並且需要協同工作來完...

鐵人賽 AI & Data DAY 20

技術 Day 20|實戰 RAGAs:量化檢索與生成的表現

前面指標能介紹的都介紹完了,今天就開始我們的實作吧!要複習的話可以參考前幾天的內容,就讓我們開始ㄅ~ 1. 安裝環境這邊我們使用 Ollama + Mistr...

鐵人賽 DevOps DAY 16

技術 【Day 16】LLM 應用的交互模式:同步、非同步與串流架構解析

前言 在建構基於大型語言模型(LLM)的智能助手時,系統需要處理從簡單問答到複雜的 Agent 工作流(如多步驟推理、工具調用和跨代理協作)等不同任務。隨著系...

鐵人賽 AI & Data DAY 19

技術 Day 19|RAG 評估指南(2/2):RAG 特定指標(下)

昨天介紹了 RAGAs 當中的核心指標了,今天是主要討論跟總結。其實昨天只提到了最主要的核心部分,不過還有很多可以去仔細翻閱查看,這邊就留給大家學習了,絕對不是...

鐵人賽 生成式 AI DAY 16

技術 Day 16: Semantic Kernel Multi-Agent 實戰 - SequentialOrchestration 實現合約內容的多代理人協同審查

今天的範例同樣以 SequentialOrchestration 為主題,但這次我們將應用在 合約內容審查 上。合約是許多企業日常運營中不可或缺的一部分,確保合...

鐵人賽 AI & Data DAY 18

技術 Day 18|RAG 評估指南(2/2):RAG 特定指標(上)

前面有介紹過一些傳統的指標像是精確率、召回率那些,不過那些指標都不能完整的反應 RAG 的效能,因為 RAG 的系統同時會牽涉到「檢索」與「生成」兩個部分,所以...

鐵人賽 AI & Data DAY 17

技術 Day 17|RAG 評估指南(1/2):檢索指標(下)

今天只負責總結內容噢!如果需要看更詳細的內容就請回顧下面這兩天的: Day 15|RAG 評估指南(1/2):檢索指標(上) Day 16|RAG 評估...

鐵人賽 生成式 AI DAY 15

技術 Day 15: Semantic Kernel Multi-Agent 實戰 - SequentialOrchestration 實現線性流程的多代理人協同審查

在前一篇文章中,我們介紹了如何使用 Semantic Kernel 的 HandoffOrchestration 編排系統來管理多個代理人之間的協作與任務轉移。...

鐵人賽 DevOps DAY 15

技術 【Day 15】大規模 AI Agent 應用的維運與架構設計挑戰

一個響亮的聲音正在科技圈迴盪:「LLM Agent 時代來臨,人類不再需要學習軟體工程了!」這個論點極具誘惑力:當一個全能的 AI 助理可以根據你的自然語言需...

鐵人賽 AI & Data DAY 16

技術 Day 16|RAG 評估指南(1/2):檢索指標(中)

延續昨天的內容,如果想回顧其他指標的話可以看上一篇--Day 15|RAG 評估指南(1/2):檢索指標(上)廢話不多說了,我們馬上開始! 5. F1 分數...

鐵人賽 AI & Data DAY 15

技術 Day 15|RAG 評估指南(1/2):檢索指標(上)

昨天有說到 RAG 的效能衡量可以分成兩大類,今天就是要先介紹檢索指標(Retrieval metrics)。我們不需要把檢索和生成混在一起看,而是可以單獨檢查...

鐵人賽 生成式 AI DAY 14

技術 Day 14: Semantic Kernel Multi-Agent 實戰 - 多代理人的 HandoffOrchestration 編排系統

前面的幾個範例是以單一代理人 (Single Agent) 為主,無論是單工具 (Single Tool) 還是多工具 (Multi-Tool) 的情境,都由同...

鐵人賽 DevOps DAY 14

技術 【Day 14】探討 LangGraph 的 Deep Research Agent 架構

概述 在當今資訊爆炸的時代,很多複雜問題都需要我們花費大量時間在網路上搜尋、閱讀和整理資訊。如果能有一個 AI 代理幫我們自動完成這些深度研究任務,將大量資料...

鐵人賽 AI & Data DAY 14

技術 Day 14|RAG 評估方法概要:量化效能,避免幻覺

這次要講的內容是 如何去評估 RAG 的效能。我們使用 RAG 的最大原因,就是希望能避免 LLM 產生幻覺,但問題是:即使結合了檢索,我們仍然不能百分之百保證...

鐵人賽 生成式 AI DAY 13

技術 Day 13 : Semantic Kernel Single Agent 實戰 - 多工具的 OfficeOne Agent 同時處理多項任務

在前一篇 Day 12 中,我們建立了一個 OfficeOne Agent,能夠根據使用者需求選擇合適的工具來處理辦公室相關請求。然而,在實際應用場景中,使用者...

鐵人賽 DevOps DAY 13

技術 【Day 13】不再需要 Dashboard?LLM 驅動的可觀測性介面

概述 在可觀測性的世界裡,資料可視化與使用者介面,始終是我們從龐大數據中提煉洞見的最後一哩路。這正是為什麼像 Grafana 這樣的可視化平台,即便歷經多次技...

鐵人賽 生成式 AI DAY 14

技術 Day 14 - Context Engineering

前幾篇講述了 Vibe Coding 與 Prompt Engineering,接下來要講述 Context Engineering (上下文工程) 提示詞與系...

鐵人賽 AI & Data DAY 13

技術 Day 13|實戰 Generation Pipeline:Chroma 檢索 × Ollama 生成的完整流程

今天要實作的內容是 Generation pipeline 的部分,就是怎麼將提問跟 RAG 檢索到的資料全部丟到 LLM 給他做回應。 因為這邊後面的實作內容...

鐵人賽 生成式 AI DAY 12

技術 Day 12 : Semantic Kernel Single Agent 實戰 - 多工具的OfficeOne Agent

這篇我們要來做一個基於 Single Agent 變化的 AI Agent 範例——「OfficeOne Agent」,這個助理可以根據使用者的需求,使用最合適...

鐵人賽 AI & Data DAY 24

技術 Day 24 | ChatGPT × HCI:語言模型作為 UX 助理

前言 到目前為止,我們已經把「感知 → 融合 → 狀態 → 回饋」跑起來了;今天轉向 人機互動(HCI) 本身:當 ChatGPT 這類大型語言模型(LLM)變...

鐵人賽 DevOps DAY 12

技術 【Day 12】打造企業級 AI Agent:認識 Agent 框架與選用指南

概述 在上一篇文張中,我們透過 Google Agent 白皮書確立了一個核心共識:AI 應用的未來屬於能夠感知、思考、採取行動的智能代理(Agent)。而一...

鐵人賽 Mobile Development DAY 30

技術 【30 天做一個極簡App】鐵人賽完賽心得、專案回顧與未來展望

終於寫到Day 30了~在過去寫文章的日子裡,從一個模糊的想法開始,透過每天的持續推進,一手打造出橫跨前後端、整合了LLM人工智慧、具備雲端同步與雙平台上架能力...