iT邦幫忙

2026 iThome 鐵人賽

DAY 1
0
AI Engineering

30 天打造 AI 後端:從 LLM、RAG 到 AI Agent系列 第 1

[Day 1] 30 天打造 AI 後端: 從 LLM、RAG 到 AI Agent - 只想相信 AI

  • 分享至 

  • xImage
  •  

背景
現實世界中,使用者會遇到這些問題如下:

  1. 使用者問的問題,LLM (Large Language Model) 根本不知道答案(因為那是你們公司內部的資料)
  2. 對話一長,Token 數爆炸,成本失控
  3. LLM 偶爾會「回答」看似合理但完全錯誤的東西
    這些問題,在這邊先賣個關子。這系列我會用 30 天,逐步回答這幾個問題,並實作出一些作品讓你更了解這些語言模型。

這系列適合誰?
任何想學習 LLM、RAG 及 AI Agent 的人

技術部分
這系列會使用:
語言/框架:Python + FastAPI
LLM: 以 Gemini API 為主,因為較其他 API 比較便宜一點。
向量資料庫: MongoDB 和 Neo4j
其他資料庫: Redis
Agent 框架: 先手刻理解原理,後段介紹 LangGraph 作為對照

30 天寫什麼?
整個系列分成四個階段,循序漸進:

第一階段:LLM (Large Language Model) 基礎 (Day 2-7)
從零建立及介紹一個能穩定呼叫 LLM 的後端服務——環境建置、串接 API、Prompt 設計、Streaming 回應、Token 與成本控制、錯誤處理與重試機制。這階段結束後,你會對 LLM 有基礎的認識。

第二階段:RAG (Retrieval Augmented Generation)(Day 8-16)
解決「LLM 動不動就一本正經的胡說八道」這個核心痛點。從 RAG 基本介紹出發到 Graph Engineering ,最後實際做出一個可以相信回答的 RAG。

第三階段:Trust AI Agent(Day 17-25)
讓 LLM 不只是「回答」,而是能「行動」。除了介紹 Agent 如何運行還會分享參加 Trust AI Agent Hackathon 的參賽過程,最終打造一個能夠信任的 Agent 作品。

第四階段:上線與收尾(Day 26-30)
補齊生產環境必備的拼圖: Prompt Injection 防護、可觀測性(Logging/Tracing)、效能優化、Docker 部署,最後回顧整個系列的架構全貌。

明天(Day 2)開始,我們就從 LLM (Large Language Model) 基礎入手 ,正式進入第一階段。


下一篇
[Day 2] 大型語言模型 (LLM) 的基本介紹
系列文
30 天打造 AI 後端:從 LLM、RAG 到 AI Agent8
圖片
  熱門推薦
圖片
{{ item.channelVendor }} | {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言