Day 14 - Context Engineering

17th鐵人賽 context engineering ai llm

96 瀏覽

前幾篇講述了 Vibe Coding 與 Prompt Engineering，接下來要講述 Context Engineering (上下文工程)

提示詞與系統提示詞

在與 LLM 互動時，提示詞指的是使用者輸入的文本或指令。它是你（使用者）直接給模型的內容，目的是引導模型生成特定的輸出。

系統提示詞是模型開發者或應用程式設計者在部署模型時，預先設定給模型的隱藏指令或背景資訊。使用者通常看不到它，它的作用是定義模型的角色、行為、個性、限制條件或輸出格式。

AI 模型本身沒有記憶，它將每次接收到的訊息都視為一個全新的、獨立的請求。
為了實現連續對話，用戶和 AI 之間會隔著一個 AI Agent 或聊天機器人伺服器。
記憶的實現方式：
- 聊天機器人會保留完整的歷史記錄。
- 當收到新的用戶訊息時，它會將新訊息附加到歷史記錄的末尾。
- 最後，將這個包含了所有過往資訊的完整歷史記錄一起發送給大語言模型 (LLM)，這讓 LLM 彷彿擁有記憶一樣。

上下文工程 (Context Engineering) 的定義：如何管理和修改這段歷史記錄的技巧就被稱為「上下文工程」

如果 AI 只是簡單的一問一答，提示詞工程就足夠了。
AI Agent 的出現使情況複雜化：AI Agent 除了傳遞訊息和維護歷史記錄外，它還擁有一個工具箱 (Toolbox) ，裡面有自己定義的工具可供 AI 模型調用。
範例：網頁瀏覽功能
- 當用戶提出一個需要查詢的問題，AI Agent 會將當前的上下文連同所有可使用的工具說明一起打包給 LLM。
- LLM 發現工具有用於瀏覽網頁的工具，可能會決定先用 Google 搜索。
- LLM 會返回一個特殊的指令（例如 Tool Call ）給 AI Agent。
- AI Agent 調用工具，返回網頁內容 (Tool Response)。
- 這個 Tool Response 會被打包成一條訊息，和對應的 Tool Call 一起放到上下文中，然後將這個變得更長的上下文重新發給 LLM。