iT邦幫忙

2025 iThome 鐵人賽

DAY 11
0
自我挑戰組

從讀書筆記到可落地 AI:LangChain、LangSmith 與 Agent 工具 30 講系列 第 11

Day 11|Agent Design - Prompt Design - LangSmith Prompt管理(5/5)

  • 分享至 

  • xImage
  •  

目標先講清楚:
分享自己在開發專案使用LangSmith進行Prompt管理


為什麼要管理 Prompt?

在多代理(Agent)或多步驟工作流裡,Prompt 其實就像「程式碼」:

  • 需要版本控制,避免每次改 Prompt 都無法追蹤差異;
  • 需要一致的調用方式,確保在不同環境、不同模型中結果穩定;
  • 需要可觀測與可回溯,方便 Debug 與比較調整效果。

→ 沒有良好的 Prompt 管理,就會遇到「測試很久、改了卻找不到哪個版本有效」的問題。


做法分享

因為我本身架構用 LangGraph + LangSmith Tracing,延伸使用它來做 Prompt 管理是最順手的;不過Prompt管理工具,之前介紹的langfuse或openlit也有提供(開源)。

https://ithelp.ithome.com.tw/upload/images/20250925/20178568wGeC6fMZGG.png

1) 在 Playground 測試與調整

先把 Prompt 丟到 LangSmith Playground 裡反覆調整,快速比較不同寫法的差異。
https://ithelp.ithome.com.tw/upload/images/20250925/20178568kw2uBkVMLr.png

2) Commit 與版本控管

調整完成後,按下 commit → LangSmith 會自動產生版本號。
未來需要回滾或比較效能差異,只要切換版本就能追蹤。
https://ithelp.ithome.com.tw/upload/images/20250925/20178568EUWPt8jLxh.png

3) SDK 整合(Python / JS)

LangSmith 提供 Python SDKJavaScript SDK,能直接在程式裡呼叫特定版本的 Prompt:
https://ithelp.ithome.com.tw/upload/images/20250925/20178568ACLQEnmXSX.png
→ 確保在不同環境跑的都是同一份 Prompt,不會出現「本地 vs 雲端版本不一致」的狀況。

4) LangChain Hub - Public Prompt參考

LangChain Hub也有其他人分享的prompt可以參考,當沒有靈感的時候,可以搜看看別人的;prompt default設定private,只有設public,才會分享到langchain hub上。

https://ithelp.ithome.com.tw/upload/images/20250925/20178568JfkNib2ctR.png

Long Context Prompting的小技巧

目前Prompt越寫越長,分享一個 Claude 官方建議的,對長文件輸入(2 萬字以上)特別有效:

  1. 長文件或大輸入放最前面
  2. 中間放指令與範例
  3. 最後才寫查詢問題

實測顯示,這種結構能讓回覆品質提升最多 30%
👉 Claude Long Context Tips


接下來要做什麼

接下來是進到context的部分,會先從tool使用開始


參考資源

1.LangSmith Doc-Prompt engineering quickstart
2.LangChain Hub
3.Claude Long Context Tips


上一篇
Day 10|Agent Design - Prompt Design - 撰寫詳細而清楚的Prompt技巧(4/5)
系列文
從讀書筆記到可落地 AI:LangChain、LangSmith 與 Agent 工具 30 講11
圖片
  熱門推薦
圖片
{{ item.channelVendor }} | {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言