iT邦幫忙

llm相關文章
共有 315 則文章
鐵人賽 AI & Data DAY 24

技術 Day 24|AI Agent 實作規劃:打造能推理、能反思的法規助理

之前已經有基礎了,這次要繼續延伸做下去,後面應該也會放上我比較完整的程式碼,所以如果前面的內容已經忘光光的沒有關係,我這邊應該會打算做點整理,所以程式碼後面都會...

鐵人賽 生成式 AI DAY 21

技術 Day 21: LLM 模型 Function Calling 成功率簡單實測比較

在生成式 AI 興起的時代,function calling(函數呼叫) 成為 LLM(大型語言模型)落地應用的重要能力。不管是讓 AI 自動查天氣、叫外送,還...

鐵人賽 DevOps DAY 21

技術 【Day 21】透過 AI Gateway 實現 LLM 治理:從 LiteLLM 統一管理入口、成本與安全

前言 當企業擁抱大型語言模型(LLM)的強大能力時,隨之而來的是一系列「甜蜜的煩惱」。開發團隊可能在不同專案中使用了來自 OpenAI, Anthropic,...

鐵人賽 生成式 AI DAY 20

技術 Day 20: 使用 Semantic Kernel 輕鬆為 Agent 換大腦 - 更換 LLM 模型

在 AI Agent 開發的世界裡,選擇正確的大型語言模型(LLM)就像為不同的 Agent 選擇合適的大腦。今天,我們來談談為什麼「輕鬆切換 LLM」是一個關...

鐵人賽 AI & Data DAY 22

技術 Day 22|AI Agent 核心模組:推理、規劃、工具呼叫與記憶

今天要說的就是 AI Agent 的核心模組,這邊主要是整理《The Landscape of Emerging AI Agent Architectures...

鐵人賽 DevOps DAY 20

技術 【Day 20】打造安全可靠的 AI 應用:深入解析 LLM Guardrail 與 AI Gateway

前言 大型語言模型(LLM)的驚人能力正在改變各行各業,但伴隨而來的安全風險也日益凸顯。從惡意使用者透過各種「越獄」(Jailbreaking)手段誘導模型產...

鐵人賽 Cloud Native DAY 26

技術 AI 賦能的智慧排程器

如果覺得文章對你有所啟發,可以考慮用 🌟 支持 Gthulhu 專案,短期目標是集齊 300 個 🌟 藉此被 CNCF Landscape 採納 [ref]。...

鐵人賽 DevOps DAY 20

技術 Day20 - LLM 回應品質監控:幻覺偵測與三層防護實作

🔹 前言 昨天我們談到 延遲、Token 與成本 的監控,確保系統「跑得快、花得省」。 但如果模型輸出的答案是錯的呢? 👉 在 LLM 應用中,Hallucin...

鐵人賽 AI & Data DAY 21

技術 Day 21|什麼是 AI Agent?

在前面我們介紹了 RAG 與 RAGAS,這些方法主要是解決 『如何讓 LLM 回答得更正確』 的問題。但隨著應用需求不斷升級,其實不少學者也開始思考:如果我們...

鐵人賽 生成式 AI DAY 19

技術 Day 19 - Semantic Kernel Multi-Agent 實戰 - Concurrent Orchestration Agent 併發協作多語言翻譯任務

今天要來看另一種相對穩定且簡單的多 Agent 的類型,Concurrent Orchestration 一種「多位專家代理同時平行協作」的多代理協作模式。Co...

鐵人賽 DevOps DAY 19

技術 【Day 19】AI Gateway 深度選型:從流量代理到智能控制平面

前言 在 LLM 應用從小規模 PoC 走向生產環境的過程中,AI Gateway 不再只是簡單的 API 轉發器,它已經演變為關鍵的「AI 控制平面」。 選...

鐵人賽 生成式 AI DAY 18

技術 Day 18 - Semantic Kernel Multi-Agent 實戰 - Magentic Agent 重塑公關危機應對

今天要來看另一種多 Agent 的應用,Magentic Orchestration 是一種「由一位 Magentic Manager 依情境動態指派、協調多位...

鐵人賽 DevOps DAY 18

技術 【Day 18】探討 AI Gateway 架構:LLM 基礎設施的守護神

前言 大型語言模型(LLM)的浪潮正以前所未有的速度席捲各行各業。從 OpenAI 的 GPT 系列、Anthropic 的 Claude,到 Google...

鐵人賽 AI & Data DAY 17

技術 【Day 17】反思 Notion 架構與 Database 設計:為 LLM 打好地基

在前 16 天,我們已經把 Notion 筆記一路轉換:從 JSON → SQLite → Chunking → Embedding → Chroma DB,建...

鐵人賽 DevOps DAY 17

技術 【Day 17】終結 LLM 應用混沌:AG-UI 協議如何統一通訊介面

當前,人工智慧的發展已經進入一個新紀元。從 OpenAI、Google 到 Anthropic,各大巨頭皆有能力開發出執行深度研究、編寫程式碼 (IDE) 或...

鐵人賽 生成式 AI DAY 17

技術 Day 17: Semantic Kernel Multi-Agent 實戰 - 群組討論 Agent 協作

今天要來看另一種多 Agent 的應用場景:群組討論。這種情境下,會有多個 Agent,每個 Agent 可能扮演不同的角色,進行群組討論,並且需要協同工作來完...

鐵人賽 AI & Data DAY 20

技術 Day 20|實戰 RAGAs:量化檢索與生成的表現

前面指標能介紹的都介紹完了,今天就開始我們的實作吧!要複習的話可以參考前幾天的內容,就讓我們開始ㄅ~ 1. 安裝環境這邊我們使用 Ollama + Mistr...

鐵人賽 DevOps DAY 16

技術 【Day 16】LLM 應用的交互模式:同步、非同步與串流架構解析

前言 在建構基於大型語言模型(LLM)的智能助手時,系統需要處理從簡單問答到複雜的 Agent 工作流(如多步驟推理、工具調用和跨代理協作)等不同任務。隨著系...

鐵人賽 AI & Data DAY 19

技術 Day 19|RAG 評估指南(2/2):RAG 特定指標(下)

昨天介紹了 RAGAs 當中的核心指標了,今天是主要討論跟總結。其實昨天只提到了最主要的核心部分,不過還有很多可以去仔細翻閱查看,這邊就留給大家學習了,絕對不是...

鐵人賽 生成式 AI DAY 16

技術 Day 16: Semantic Kernel Multi-Agent 實戰 - SequentialOrchestration 實現合約內容的多代理人協同審查

今天的範例同樣以 SequentialOrchestration 為主題,但這次我們將應用在 合約內容審查 上。合約是許多企業日常運營中不可或缺的一部分,確保合...

鐵人賽 AI & Data DAY 18

技術 Day 18|RAG 評估指南(2/2):RAG 特定指標(上)

前面有介紹過一些傳統的指標像是精確率、召回率那些,不過那些指標都不能完整的反應 RAG 的效能,因為 RAG 的系統同時會牽涉到「檢索」與「生成」兩個部分,所以...

鐵人賽 AI & Data DAY 17

技術 Day 17|RAG 評估指南(1/2):檢索指標(下)

今天只負責總結內容噢!如果需要看更詳細的內容就請回顧下面這兩天的: Day 15|RAG 評估指南(1/2):檢索指標(上) Day 16|RAG 評估...

鐵人賽 生成式 AI DAY 15

技術 Day 15: Semantic Kernel Multi-Agent 實戰 - SequentialOrchestration 實現線性流程的多代理人協同審查

在前一篇文章中,我們介紹了如何使用 Semantic Kernel 的 HandoffOrchestration 編排系統來管理多個代理人之間的協作與任務轉移。...

鐵人賽 DevOps DAY 15

技術 【Day 15】大規模 AI Agent 應用的維運與架構設計挑戰

一個響亮的聲音正在科技圈迴盪:「LLM Agent 時代來臨,人類不再需要學習軟體工程了!」這個論點極具誘惑力:當一個全能的 AI 助理可以根據你的自然語言需...

鐵人賽 AI & Data DAY 16

技術 Day 16|RAG 評估指南(1/2):檢索指標(中)

延續昨天的內容,如果想回顧其他指標的話可以看上一篇--Day 15|RAG 評估指南(1/2):檢索指標(上)廢話不多說了,我們馬上開始! 5. F1 分數...

鐵人賽 AI & Data DAY 15

技術 Day 15|RAG 評估指南(1/2):檢索指標(上)

昨天有說到 RAG 的效能衡量可以分成兩大類,今天就是要先介紹檢索指標(Retrieval metrics)。我們不需要把檢索和生成混在一起看,而是可以單獨檢查...

鐵人賽 生成式 AI DAY 14

技術 Day 14: Semantic Kernel Multi-Agent 實戰 - 多代理人的 HandoffOrchestration 編排系統

前面的幾個範例是以單一代理人 (Single Agent) 為主,無論是單工具 (Single Tool) 還是多工具 (Multi-Tool) 的情境,都由同...

鐵人賽 DevOps DAY 14

技術 【Day 14】探討 LangGraph 的 Deep Research Agent 架構

概述 在當今資訊爆炸的時代,很多複雜問題都需要我們花費大量時間在網路上搜尋、閱讀和整理資訊。如果能有一個 AI 代理幫我們自動完成這些深度研究任務,將大量資料...

鐵人賽 AI & Data DAY 14

技術 Day 14|RAG 評估方法概要:量化效能,避免幻覺

這次要講的內容是 如何去評估 RAG 的效能。我們使用 RAG 的最大原因,就是希望能避免 LLM 產生幻覺,但問題是:即使結合了檢索,我們仍然不能百分之百保證...

鐵人賽 生成式 AI DAY 13

技術 Day 13 : Semantic Kernel Single Agent 實戰 - 多工具的 OfficeOne Agent 同時處理多項任務

在前一篇 Day 12 中,我們建立了一個 OfficeOne Agent,能夠根據使用者需求選擇合適的工具來處理辦公室相關請求。然而,在實際應用場景中,使用者...