iT邦幫忙

llm相關文章
共有 361 則文章
鐵人賽 AI & Data DAY 25

技術 【Day 25】Notion Chatbot 對話記憶與來源追蹤的設計優化:打造真正的知識助理

在 Day 24,我們打造了第一個可以「對話」的 Notion × LLM 助理,讓使用者能直接用自然語言從筆記中搜尋答案。但實際使用後我發現,它仍然比較像是「...

鐵人賽 DevOps DAY 25

技術 【Day 25】從可觀測性到持續優化:深入 LLM Evaluation 的藝術與實踐

前言 在先前文章中,我們探討了 LLM 可觀測性平台的重要性。然而,僅僅能夠「看見」模型的行為是不夠的;我們還需要一套系統化的方法來「衡量」其優劣,這就是 L...

鐵人賽 生成式 AI DAY 25

技術 Day 25: Semantic Kernel 無縫整合 OpenAI Assistant Agent - 智能客服系統實作

可能很多人不知道,OpenAI 有一個 Assistant Agent 的功能,它是由 OpenAI 平台託管的 AI Agent,能夠在雲端長期運作,並與使用...

鐵人賽 DevOps DAY 24

技術 【Day 24】從程式碼到資產:深入 Prompt Management 的藝術與實踐

前言 在上一篇文章中,我們探討了 LLM 可觀測性平台的重要性。今天,我們將延伸這個主題,深入探討一個與其緊密相關且至關重要的領域:Prompt Manage...

鐵人賽 生成式 AI DAY 24

技術 Day 24: Semantic Kernel 使用 Stdio 模式串接 MCP Server

在 Day 23 中,介紹如何使用 Semantic Kernel 使用 Streamable HTTP 模式串接 MCP Server ,今天來另一種 Std...

鐵人賽 DevOps DAY 23

技術 【Day 23】導入 LLM 可觀測性不需從頭開始:善用 OpenTelemetry 完美整合現有架構

前言 在大型語言模型(LLM)應用席捲全球的今天,如何有效監控並觀測這些「黑盒子」的行為,已成為維運團隊最迫切的挑戰。許多團隊早已建立了成熟的 Grafana...

鐵人賽 生成式 AI DAY 23

技術 Day 23: Semantic Kernel 使用 Streamable HTTP 模式串接 MCP Server

在 Day 22 我們介紹了 MCP 的基本概念和核心組成,今天直接來實作一個簡單的範例,使用 Microsoft 的 Semantic Kernel 來串接一...

鐵人賽 AI & Data DAY 29

技術 Day 29|實戰 AutoGen:讓 Agent 學會反思與規劃(Reflection & Planning 篇)

到目前為止,Agent 只能「問→答→(必要時)重答」,但還不會自己檢查邏輯、規劃下一步。所以今天的目標就是要讓它具備: 自我反思(Reflection):...

鐵人賽 AI & Data DAY 28

技術 Day 28|實戰 RAGAS:教 Agent 檢查自己答得好不好

昨天我們讓模型能自己選工具,從人工判斷變成自動決策,不過還有一個問題,那麼就是 :它的答案到底好不好?準不準?有沒有亂講?光靠肉眼看很難判斷,這時就要請出我們之...

鐵人賽 AI & Data DAY 27

技術 Day 27|實戰 AutoGen:讓模型自己選工具(Tool Selection 篇)

昨天我們讓系統具備了「會查條文、會記得你說過什麼」的能力,但這些功能仍然是人工判斷。今天要邁向真正的「Agent」:讓模型自己看到工具列表後,決定何時使用哪個工...

鐵人賽 AI & Data DAY 26

技術 Day 26|實戰工具化與記憶:讓系統會查條文、會記得你說過什麼

昨天我們已經完成了最小可跑的版本,連結了查資料庫、組 prompt、請模型回答,我們現在要加上兩個功能也就是工具化(Tool)與記憶(Memory)。簡單說一下...

鐵人賽 生成式 AI DAY 22

技術 Day 22: 一文認識 Model Context Protocol (MCP)

Model Context Protocol (MCP) 是由 Anthropic 於 2024 年底發起的一個開放標準,目的是讓 LLM AI 應用程式(如...

鐵人賽 DevOps DAY 22

技術 【Day 22】探討 LLM 可觀測性平台:讓你的 LLM 應用持續進化

前言 在 LLM 應用蓬勃發展的時代,將大型語言模型(LLM)推向生產環境往往只是旅程的開始,而不是結束。想像一下,一個聊天機器人應用在內部測試中表現完美,但...

鐵人賽 AI & Data DAY 25

技術 Day 25|實戰 Agent 入口設計:從查詢到答案(RAG×ChromaDB×Ollama)

今天先把最小能跑的版本 MVP 做出來,後面的幾天會加入像是工具選擇、記憶、評分那些的。為了避免越做越亂,我會先把目錄的結構畫出來再開始實作。 檔案架構 檔案...

鐵人賽 AI & Data DAY 24

技術 Day 24|生成式大型語言模型:GPT 怎麼生成文字

引言 當 ChatGPT 剛問世時,大家是不是都被它震驚到了?電腦居然能生成這麼自然、這麼像人講的文字!而且隨著 OpenAI 推出越來越多升級版,它似乎也變得...

鐵人賽 AI & Data DAY 24

技術 Day 24|AI Agent 實作規劃:打造能推理、能反思的法規助理

之前已經有基礎了,這次要繼續延伸做下去,後面應該也會放上我比較完整的程式碼,所以如果前面的內容已經忘光光的沒有關係,我這邊應該會打算做點整理,所以程式碼後面都會...

鐵人賽 生成式 AI DAY 21

技術 Day 21: LLM 模型 Function Calling 成功率簡單實測比較

在生成式 AI 興起的時代,function calling(函數呼叫) 成為 LLM(大型語言模型)落地應用的重要能力。不管是讓 AI 自動查天氣、叫外送,還...

鐵人賽 DevOps DAY 21

技術 【Day 21】透過 AI Gateway 實現 LLM 治理:從 LiteLLM 統一管理入口、成本與安全

前言 當企業擁抱大型語言模型(LLM)的強大能力時,隨之而來的是一系列「甜蜜的煩惱」。開發團隊可能在不同專案中使用了來自 OpenAI, Anthropic,...

鐵人賽 生成式 AI DAY 20

技術 Day 20: 使用 Semantic Kernel 輕鬆為 Agent 換大腦 - 更換 LLM 模型

在 AI Agent 開發的世界裡,選擇正確的大型語言模型(LLM)就像為不同的 Agent 選擇合適的大腦。今天,我們來談談為什麼「輕鬆切換 LLM」是一個關...

鐵人賽 AI & Data DAY 22

技術 Day 22|AI Agent 核心模組:推理、規劃、工具呼叫與記憶

今天要說的就是 AI Agent 的核心模組,這邊主要是整理《The Landscape of Emerging AI Agent Architectures...

鐵人賽 DevOps DAY 20

技術 【Day 20】打造安全可靠的 AI 應用:深入解析 LLM Guardrail 與 AI Gateway

前言 大型語言模型(LLM)的驚人能力正在改變各行各業,但伴隨而來的安全風險也日益凸顯。從惡意使用者透過各種「越獄」(Jailbreaking)手段誘導模型產...

鐵人賽 Cloud Native DAY 26

技術 AI 賦能的智慧排程器

如果覺得文章對你有所啟發,可以考慮用 🌟 支持 Gthulhu 專案,短期目標是集齊 300 個 🌟 藉此被 CNCF Landscape 採納 [ref]。...

鐵人賽 DevOps DAY 20

技術 Day20 - LLM 回應品質監控:幻覺偵測與三層防護實作

🔹 前言 昨天我們談到 延遲、Token 與成本 的監控,確保系統「跑得快、花得省」。 但如果模型輸出的答案是錯的呢? 👉 在 LLM 應用中,Hallucin...

鐵人賽 AI & Data DAY 21

技術 Day 21|什麼是 AI Agent?

在前面我們介紹了 RAG 與 RAGAS,這些方法主要是解決 『如何讓 LLM 回答得更正確』 的問題。但隨著應用需求不斷升級,其實不少學者也開始思考:如果我們...

鐵人賽 生成式 AI DAY 19

技術 Day 19 - Semantic Kernel Multi-Agent 實戰 - Concurrent Orchestration Agent 併發協作多語言翻譯任務

今天要來看另一種相對穩定且簡單的多 Agent 的類型,Concurrent Orchestration 一種「多位專家代理同時平行協作」的多代理協作模式。Co...

鐵人賽 DevOps DAY 19

技術 【Day 19】AI Gateway 深度選型:從流量代理到智能控制平面

前言 在 LLM 應用從小規模 PoC 走向生產環境的過程中,AI Gateway 不再只是簡單的 API 轉發器,它已經演變為關鍵的「AI 控制平面」。 選...

鐵人賽 生成式 AI DAY 18

技術 Day 18 - Semantic Kernel Multi-Agent 實戰 - Magentic Agent 重塑公關危機應對

今天要來看另一種多 Agent 的應用,Magentic Orchestration 是一種「由一位 Magentic Manager 依情境動態指派、協調多位...

鐵人賽 DevOps DAY 18

技術 【Day 18】探討 AI Gateway 架構:LLM 基礎設施的守護神

前言 大型語言模型(LLM)的浪潮正以前所未有的速度席捲各行各業。從 OpenAI 的 GPT 系列、Anthropic 的 Claude,到 Google...

鐵人賽 AI & Data DAY 17

技術 【Day 17】反思 Notion 架構與 Database 設計:為 LLM 打好地基

在前 16 天,我們已經把 Notion 筆記一路轉換:從 JSON → SQLite → Chunking → Embedding → Chroma DB,建...

鐵人賽 DevOps DAY 17

技術 【Day 17】終結 LLM 應用混沌:AG-UI 協議如何統一通訊介面

當前,人工智慧的發展已經進入一個新紀元。從 OpenAI、Google 到 Anthropic,各大巨頭皆有能力開發出執行深度研究、編寫程式碼 (IDE) 或...