大型語言模型(LLM)近年快速演進成能自主決策、呼叫工具的 AI Agent,而強化學習(RL)正是讓 Agent 學會「做對的事」的核心技術。本系列將從最基礎的 MDP、Bellman Equation 出發,一路推進到 DQN、PPO、GRPO、DPO 等主流演算法,並實際手刻一個具備工具呼叫能力的 Agent 環境,最終透過 DPOTrainer 完成偏好資料的微調訓練。
30天內容涵蓋理論推導、演算法比較、實作環境建置、訓練除錯與量化評估(成功率、KL散度、reward曲線等),目標是打造一套可重現、有數據佐證的 Agent 強化學習訓練流程,適合想從理論扎實走向工程落地的讀者。
今天來聊聊這幾天踩的坑! 踩坑日記開始!! 策略崩潰(Policy Collapse / Mode Collapse) 在Day18 的時候,原本的目標是設計較...
前天訓練好 DPO model,今天拿 Day16 寫好的評估集做測試,並與 Day17 的baseline比較! 我先定義了多項關鍵評估指標來檢驗模型表現:...
今天來看看 DPO 的訓練流程吧! 回顧一下 DPO 的目標,訓練一個 Agent,讓它不只是「會回答問題」,而是更懂得什麼樣的回答才是我們真正想要的。 1....
在前幾天的實作中,我們成功用 DPO 訓練出了具備自主使用工具能力的 Agent(Success Rate 提升至 73%)。但一個存在於命令列裡的模型,還不能...
今天,我們就來探討如何在多步驟任務中進行上下文管理 (Context Management)。 先來看看會遇到甚麼問題! 當工具回傳結果撐爆 Context W...