目標先講清楚:
分享自己在開發專案使用LangSmith進行Prompt管理
在多代理(Agent)或多步驟工作流裡,Prompt 其實就像「程式碼」:
→ 沒有良好的 Prompt 管理,就會遇到「測試很久、改了卻找不到哪個版本有效」的問題。
因為我本身架構用 LangGraph + LangSmith Tracing,延伸使用它來做 Prompt 管理是最順手的;不過Prompt管理工具,之前介紹的langfuse或openlit也有提供(開源)。
先把 Prompt 丟到 LangSmith Playground 裡反覆調整,快速比較不同寫法的差異。
調整完成後,按下 commit → LangSmith 會自動產生版本號。
未來需要回滾或比較效能差異,只要切換版本就能追蹤。
LangSmith 提供 Python SDK 和 JavaScript SDK,能直接在程式裡呼叫特定版本的 Prompt:
→ 確保在不同環境跑的都是同一份 Prompt,不會出現「本地 vs 雲端版本不一致」的狀況。
LangChain Hub也有其他人分享的prompt可以參考,當沒有靈感的時候,可以搜看看別人的;prompt default設定private,只有設public,才會分享到langchain hub上。
目前Prompt越寫越長,分享一個 Claude 官方建議的,對長文件輸入(2 萬字以上)特別有效:
實測顯示,這種結構能讓回覆品質提升最多 30%。
👉 Claude Long Context Tips
接下來是進到context的部分,會先從tool使用開始
1.LangSmith Doc-Prompt engineering quickstart
2.LangChain Hub
3.Claude Long Context Tips