在前面的章節中，我們已經為強化學習的理論打下了基礎，也看過了 RLHF的標準流程。當正式跨入 Agentic RL 的領域時，對於我曾經有模型微調經驗的開發者，往往會帶著一種慣性思維:「我要怎麼從頭刻出一個最完美的 PPO 演算法?」、「該怎麼微調底層的Loss Function?」

但今天要踩個煞車，並確立本系列最重要的一個實戰心法:在 AI Agent 的訓練中，環境設計遠比演算法本身更重要。

演算法是「優化器」，環境才是「天花板」

讓我們先釐清一個觀念:不管是 PPO、DPO 還是最近熱門的 GRPO，它們在數學本質上都是強大的「優化器(Optimizer)」。它們的工作，是根據環境給出的回饋(Reward)，找出最佳的策略(Policy)來最大化未來的預期收益。

優化器再強，也無法超越自己定義的「目標」。

這其實就像資料集中的標註陷阱 (Day8) ：如果標註本身有偏差，模型就算學得再好，也只會更精準地學錯。放到 Agent RL 中也是一樣——如果狀態、動作或 Reward 設計得不好，Agent 可能不是真的在完成任務，而是在「鑽規則的漏洞」。

因此，RL 困難的地方，不只是選一個更強的演算法，而是要定義一個能正確引導 Agent 行為的環境與評估標準。

在 AI Agent 的場景中，建構一個好的「環境」，其實就是精心設計以下三個元素:

1. 狀態空間設計 (State / Observation Space)

Agent 在每一步決策前「看到」了什麼？這在 LLM 的世界裡，就是 Context Window 內的資訊排列

• 資訊雜訊比：如果 Agent 呼叫了 Search 工具，環境回傳的是一整坨充滿 HTML tag 的原始網頁代碼，Agent 的注意力機制會被嚴重干擾。好的環境設計會將工具輸出摘要成乾淨的 Markdown 或純文字。
• 記憶管理：當任務步驟變多，完整的歷史紀錄會把 Token 撐爆。環境該如 何提供「摘要記憶」或「最近 N 步的視窗」？這決定了 Agent 能不能記住自己剛才做過的事。

2. 動作空間設計 (Action Space)

Agent 怎麼對世界產生影響？也就是它呼叫工具（Tool Calling）的格式與限制

• 如果強制 Agent 輸出嚴格的 JSON Schema 或 XML 格式，甚至在環境層面加入 Regex 解析與自動糾錯機制，Agent 就能更容易地學會「正確使用工具」
• 動作越單一明確（例如：單獨的 calculate 和 search 工具），RL 越容易給予準確的 Credit Assignment；動作太過攏統，模型會不知道自己錯在哪

3. 獎勵訊號設計 (Reward Signal)

如果 Agent 解對了數學題給 +1 分，解錯給 -1 分，聽起來很合理對吧？但 如果它為了得到分數，學會了「不斷呼叫 Calculator 亂算一通直到剛好矇中」，這就是災難。我們需要設計的不僅僅是最終的 Outcome Reward，還有過程中的懲罰與引導。

Takeaway

• 開發演算法不是本系列的主要目標，本系列專注於「如何向 Agent 描述這個世界、賦予它什麼Action、以及如何引導它的價值觀」

在昨天有提到 Dense Reward 會有 reward hacking 的風險，明天會詳細探討 reward hacking 是什麼?