這篇先認識 LangSmith 是什麼、有哪些功能，以及最重要的兩個基本功：**Tracing（看執行軌跡）**跟 Dataset（建測試題庫）。

LangSmith 是什麼？

LangSmith：LangChain 團隊推出的 AI 應用開發與評估平台，用來追蹤、測試、評估、監控 LLM 應用。

想像你是一家餐廳的老闆，AI Agent 就是你的廚師：

LangSmith 就是 AI 應用的「行車記錄器 ＋ 品質檢測系統」。

先認識幾個名詞

LangSmith 介面功能一覽

不用一次全學，QA 最常用的是 Tracing 跟 Datasets & Experiments。

整個平台的核心流程，其實就兩條線：

• 上面那條是 Tracing：看 Agent 每一次怎麼跑（這篇）
• 下面那條是 Evaluation：拿題庫批量評分（這篇建 Dataset，明天講評估器）

基本功一：Tracing，看見 Agent 走了哪條路

要驗證 Agent 有沒有走對路，就得先看得到它走了哪條路，Tracing 就是在做這件事。

Tracing 會記錄什麼？

• 輸入和輸出
• 每一步的執行時間
• 呼叫 LLM 的參數（模型、temperature、token 數）
• 中間步驟：意圖判斷結果、呼叫了哪些工具、帶了什麼參數
• 錯誤訊息

腳本要怎麼接上 Tracing？

在程式裡設定環境變數，再把要追蹤的函式加上 @traceable，執行時就會自動送到 LangSmith：

詳細可以再自行去看官方的教學文件，寫相當清楚

LANGSMITH_TRACING=true
LANGSMITH_API_KEY=你的 API Key

from langsmith import traceable

@traceable
def customer_service_agent(question: str) -> str:
    ...

在畫面上看一筆軌跡

(從 Top 5 Agent Observability Tools in 2026 取得圖片示意，不然公司內部邏輯也不太方便顯示XDD)

假設維持客服 Agent 來看，點開一筆「我的訂單 A123 到哪了？」的軌跡，你要確認的是：

• 意圖判斷的結果是不是「查訂單」
• 有沒有呼叫「訂單查詢」工具
• 參數是不是帶 A123
• 工具回傳了什麼，最後的回答有沒有照著回傳的資料講

基本功二：Dataset，建立測試題庫

Dataset = 所有測試案例的集合，就是一張表：

Dataset 的三個重要觀念

大部分情況，Splits ＋ Metadata 就夠用了。

Splits 很好用的地方是：Prompt 只改了退貨流程，就可以先只跑 退貨 這組，不用每次都跑全部。

建立 Dataset：上傳 CSV 或 JSONL

question,expected_answer,category,dataset_split
我的訂單 A123 到哪了？,配送中,查訂單,"[""happy_path""]"
我要退貨,說明退貨步驟並建立退貨單,退貨,"[""happy_path""]"

{"inputs": {"question": "我的訂單 A123 到哪了？"}, "outputs": {"expected_answer": "配送中"}, "metadata": {"category": "查訂單", "dataset_split": ["happy_path"]}}
{"inputs": {"question": "我要退貨"}, "outputs": {"expected_answer": "說明退貨步驟並建立退貨單"}, "metadata": {"category": "退貨", "dataset_split": ["happy_path"]}}

操作步驟：

1. 進入「Datasets & Experiments」
2. 點「+ Dataset」
3. 命名，例如 customer_service_agent_v1
4. 上傳 CSV 或 JSONL
5. 設定哪些欄位是 inputs、哪些是 outputs

總結

• LangSmith 是 AI 應用的行車記錄器 ＋ 品質檢測系統
• QA 最常用的兩個功能：Tracing 跟 Datasets & Experiments
• Tracing 讓你看到 Agent 走了哪條路，是驗證中層的工具

測試案例都建好了，軌跡也看得到了。

但還差最關鍵的一步：誰來幫這 100 筆回答打分數？

明天講 LangSmith 的評估器，實際跑一輪 Experiment。

參考來源

• LangSmith 官方文件
• LangSmith Evaluation Quickstart