iT邦幫忙

llm相關文章
共有 306 則文章
鐵人賽 生成式 AI DAY 29

技術 Day 29: Semantic Kernel Multi-Agent 實戰 — SEO 文案創作產生器

在數位行銷的世界中,如何撰寫既符合 SEO 規範又能打動目標受眾的產品文案,是每個行銷人員面臨的挑戰。今天就用這個主題實作一個「SEO 文案創作產生器」概念,透...

鐵人賽 DevOps DAY 28

技術 【Day 28】深入向量資料庫:理解 RAG 在 AI 時代依然至關重要

前言 前些陣子,社群上開始興起了 RAG 已死的言論,因為主流大模型的 Token 窗口已經大幅度的成長到百萬級別,足以消化大部分的資料並即時回應。這也使得一...

鐵人賽 生成式 AI DAY 28

技術 Day 28: Semantic Kernel Multi-Agent 實戰 — 新聞內容嚴謹度評估系統

在資訊爆炸的時代,如何快速判斷新聞的可信度與嚴謹程度成為重要課題。今天要實作一個「新聞嚴謹度評估系統」,透過 Semantic Kernel Multi-Age...

鐵人賽 生成式 AI DAY 27

技術 Day 27: Semantic Kernel Multi-Agent 實戰 — 打造 PTT 熱門關鍵話題擷取系統

以 Semantic Kernel Agent Orchestration 為核心,結合 LLM 語言能力打造「輿情收集與初步分析系統」。以這樣的概念,來實作透...

鐵人賽 DevOps DAY 27

技術 【Day 27】從 RAG 到 Agentic RAG:解放知識庫的真正潛力

前言 想像一下,一個大型語言模型(LLM)就像一位博學多聞、記憶力驚人的天才,但他的知識卻永遠停留在了「畢業」的那一天。對於畢業後世界上發生的任何新知、或是特...

鐵人賽 生成式 AI DAY 26

技術 Day 26: Semantic Kernel 無縫整合 Azure AI Foundry Agent - 企業助理實作

Azure AI Foundry 是微軟提供的一站式 AI 開發與管理平台,讓建構、部署與管理 AI 解決方案都可以在一個平台裡被建立及管理,過去常聽到的 Az...

鐵人賽 DevOps DAY 26

技術 【Day 26】探討 Context Engineering:打造新一代 AI 應用的核心引擎

前言 在過去幾年,大型語言模型 (LLM) 的浪潮席捲全球,「提示工程 (Prompt Engineering)」迅速成為 AI 開發者與愛好者人人都需掌握的...

鐵人賽 AI & Data DAY 25

技術 【Day 25】Notion Chatbot 對話記憶與來源追蹤的設計優化:打造真正的知識助理

在 Day 24,我們打造了第一個可以「對話」的 Notion × LLM 助理,讓使用者能直接用自然語言從筆記中搜尋答案。但實際使用後我發現,它仍然比較像是「...

鐵人賽 DevOps DAY 25

技術 【Day 25】從可觀測性到持續優化:深入 LLM Evaluation 的藝術與實踐

前言 在先前文章中,我們探討了 LLM 可觀測性平台的重要性。然而,僅僅能夠「看見」模型的行為是不夠的;我們還需要一套系統化的方法來「衡量」其優劣,這就是 L...

鐵人賽 生成式 AI DAY 25

技術 Day 25: Semantic Kernel 無縫整合 OpenAI Assistant Agent - 智能客服系統實作

可能很多人不知道,OpenAI 有一個 Assistant Agent 的功能,它是由 OpenAI 平台託管的 AI Agent,能夠在雲端長期運作,並與使用...

鐵人賽 DevOps DAY 24

技術 【Day 24】從程式碼到資產:深入 Prompt Management 的藝術與實踐

前言 在上一篇文章中,我們探討了 LLM 可觀測性平台的重要性。今天,我們將延伸這個主題,深入探討一個與其緊密相關且至關重要的領域:Prompt Manage...

鐵人賽 生成式 AI DAY 24

技術 Day 24: Semantic Kernel 使用 Stdio 模式串接 MCP Server

在 Day 23 中,介紹如何使用 Semantic Kernel 使用 Streamable HTTP 模式串接 MCP Server ,今天來另一種 Std...

鐵人賽 DevOps DAY 23

技術 【Day 23】導入 LLM 可觀測性不需從頭開始:善用 OpenTelemetry 完美整合現有架構

前言 在大型語言模型(LLM)應用席捲全球的今天,如何有效監控並觀測這些「黑盒子」的行為,已成為維運團隊最迫切的挑戰。許多團隊早已建立了成熟的 Grafana...

鐵人賽 生成式 AI DAY 23

技術 Day 23: Semantic Kernel 使用 Streamable HTTP 模式串接 MCP Server

在 Day 22 我們介紹了 MCP 的基本概念和核心組成,今天直接來實作一個簡單的範例,使用 Microsoft 的 Semantic Kernel 來串接一...

鐵人賽 AI & Data DAY 28

技術 Day 28|實戰 RAGAS:教 Agent 檢查自己答得好不好

昨天我們讓模型能自己選工具,從人工判斷變成自動決策,不過還有一個問題,那麼就是 :它的答案到底好不好?準不準?有沒有亂講?光靠肉眼看很難判斷,這時就要請出我們之...

鐵人賽 AI & Data DAY 27

技術 Day 27|實戰 AutoGen:讓模型自己選工具(Tool Selection 篇)

昨天我們讓系統具備了「會查條文、會記得你說過什麼」的能力,但這些功能仍然是人工判斷。今天要邁向真正的「Agent」:讓模型自己看到工具列表後,決定何時使用哪個工...

鐵人賽 AI & Data DAY 26

技術 Day 26|實戰工具化與記憶:讓系統會查條文、會記得你說過什麼

昨天我們已經完成了最小可跑的版本,連結了查資料庫、組 prompt、請模型回答,我們現在要加上兩個功能也就是工具化(Tool)與記憶(Memory)。簡單說一下...

鐵人賽 生成式 AI DAY 22

技術 Day 22: 一文認識 Model Context Protocol (MCP)

Model Context Protocol (MCP) 是由 Anthropic 於 2024 年底發起的一個開放標準,目的是讓 LLM AI 應用程式(如...

鐵人賽 DevOps DAY 22

技術 【Day 22】探討 LLM 可觀測性平台:讓你的 LLM 應用持續進化

前言 在 LLM 應用蓬勃發展的時代,將大型語言模型(LLM)推向生產環境往往只是旅程的開始,而不是結束。想像一下,一個聊天機器人應用在內部測試中表現完美,但...

鐵人賽 AI & Data DAY 25

技術 Day 25|實戰 Agent 入口設計:從查詢到答案(RAG×ChromaDB×Ollama)

今天先把最小能跑的版本 MVP 做出來,後面的幾天會加入像是工具選擇、記憶、評分那些的。為了避免越做越亂,我會先把目錄的結構畫出來再開始實作。 檔案架構 檔案...

鐵人賽 AI & Data DAY 24

技術 Day 24|生成式大型語言模型:GPT 怎麼生成文字

引言 當 ChatGPT 剛問世時,大家是不是都被它震驚到了?電腦居然能生成這麼自然、這麼像人講的文字!而且隨著 OpenAI 推出越來越多升級版,它似乎也變得...

鐵人賽 AI & Data DAY 24

技術 Day 24|AI Agent 實作規劃:打造能推理、能反思的法規助理

之前已經有基礎了,這次要繼續延伸做下去,後面應該也會放上我比較完整的程式碼,所以如果前面的內容已經忘光光的沒有關係,我這邊應該會打算做點整理,所以程式碼後面都會...

鐵人賽 生成式 AI DAY 21

技術 Day 21: LLM 模型 Function Calling 成功率簡單實測比較

在生成式 AI 興起的時代,function calling(函數呼叫) 成為 LLM(大型語言模型)落地應用的重要能力。不管是讓 AI 自動查天氣、叫外送,還...

鐵人賽 DevOps DAY 21

技術 【Day 21】透過 AI Gateway 實現 LLM 治理:從 LiteLLM 統一管理入口、成本與安全

前言 當企業擁抱大型語言模型(LLM)的強大能力時,隨之而來的是一系列「甜蜜的煩惱」。開發團隊可能在不同專案中使用了來自 OpenAI, Anthropic,...

鐵人賽 生成式 AI DAY 20

技術 Day 20: 使用 Semantic Kernel 輕鬆為 Agent 換大腦 - 更換 LLM 模型

在 AI Agent 開發的世界裡,選擇正確的大型語言模型(LLM)就像為不同的 Agent 選擇合適的大腦。今天,我們來談談為什麼「輕鬆切換 LLM」是一個關...

鐵人賽 AI & Data DAY 22

技術 Day 22|AI Agent 核心模組:推理、規劃、工具呼叫與記憶

今天要說的就是 AI Agent 的核心模組,這邊主要是整理《The Landscape of Emerging AI Agent Architectures...

鐵人賽 DevOps DAY 20

技術 【Day 20】打造安全可靠的 AI 應用:深入解析 LLM Guardrail 與 AI Gateway

前言 大型語言模型(LLM)的驚人能力正在改變各行各業,但伴隨而來的安全風險也日益凸顯。從惡意使用者透過各種「越獄」(Jailbreaking)手段誘導模型產...

鐵人賽 Cloud Native DAY 26

技術 AI 賦能的智慧排程器

如果覺得文章對你有所啟發,可以考慮用 🌟 支持 Gthulhu 專案,短期目標是集齊 300 個 🌟 藉此被 CNCF Landscape 採納 [ref]。...

鐵人賽 DevOps DAY 20

技術 Day20 - LLM 回應品質監控:幻覺偵測與三層防護實作

🔹 前言 昨天我們談到 延遲、Token 與成本 的監控,確保系統「跑得快、花得省」。 但如果模型輸出的答案是錯的呢? 👉 在 LLM 應用中,Hallucin...

鐵人賽 AI & Data DAY 21

技術 Day 21|什麼是 AI Agent?

在前面我們介紹了 RAG 與 RAGAS,這些方法主要是解決 『如何讓 LLM 回答得更正確』 的問題。但隨著應用需求不斷升級,其實不少學者也開始思考:如果我們...