請 agent 改一顆按鈕，乍看只是前端小事。假設它同時讀得到 repo 以外的檔案、拿得到正式環境的 key，還能自行呼叫外部工具，這個任務就不能用「改完畫面正常」來驗收。

第一次讓 coding agent 進團隊 repo，我會把它當成權限上線來驗收。先在隔離的測試環境改一個 UI 元件、跑測試、產出 diff，再故意讓它碰到禁止的邊界。任務做得完是一回事，碰到邊界會不會停下來是另一回事。

執行範圍：設定了沙箱，還要確認是哪個 session

先寫下 agent 應該碰得到什麼。例如只允許讀取測試用 repo，修改 src/components/ 裡的一個檔案；不能讀同一台機器上的其他專案，也不需要任意對外連線。這些是示範路徑，請換成團隊自己的工作樹和允許清單。

GitHub Copilot app 的本機沙箱提供按專案設定的檔案、網路與憑證存取邊界，但目前是 public preview，且預設關閉。還有一個很容易漏的時序問題：你剛開啟的新設定，不會自動改變已經在跑的 session。驗收時要確認受測的 session 確實套用了設定，再測試 repo 外讀取與未核准的網路請求。不要只截一張設定畫面，就宣稱 agent 已被隔離。

這個測試也不等於跨所有執行環境的保證。換了本機、CI 或別的 agent runtime，就重新確認一次實際邊界。

工具權限：讓模型可以提議，不等於允許它寫正式資料

Repo 寫入、shell、MCP 工具和部署 API，最好分開盤點。對這次 UI 修改而言，讀取程式碼與執行測試有理由；修改正式資料庫、讀取正式憑證沒有。測試時使用無權限或只連測試環境的短效憑證，不要把真實正式 key 丟給 agent「看它會不會亂用」。

如果下一步真的需要寫入外部資源，先停下來讓人確認目標、檢查 diff 或預計執行的操作。取得批准後才執行，執行後讀回結果；回滾由誰負責也先講好。這些流程得由團隊自己設計，不能因為工具有「批准」按鈕就當作整件事已經處理好。

Coder 2.37 提到 MCP 與模型存取控制，也提供自行管理的 agent 執行基礎設施。這提醒我們「在哪裡跑」和「工具能做什麼」是兩張不同的表。自己管理 runtime，不會讓每支 MCP 工具自動變成唯讀，更不能省掉逐一檢查身分與 scope。

追蹤：事後要能回答誰批准了哪一次寫入

出事時如果只剩一段對話截圖，很難分辨 agent 原本被允許做什麼、實際呼叫了哪支工具。每次 run 至少要能對上發起者、任務與 run ID、工具和目標、批准人、執行結果與失敗原因；還要知道 trace 送去哪裡、保留多久、誰能讀。這些欄位可先由團隊用現有日誌串起來，不必假設每個平台都原生提供。

GitHub Copilot app 的企業管理設定可配置 OpenTelemetry 匯出端點，用 agent、model、tool 活動的 trace 協助調查；prompt 與 response 內容預設不匯出。但「預設不匯出內容」不代表其他欄位一定不敏感，也不代表團隊已開啟匯出。接上端點後，拿一次測試 run 查實際送出的欄位、接收者與存取權限，才算完成自己的驗收。

Trace 是查案用的，不能阻止一把權限過大的 key 被使用；沙箱擋住越界，也不能證明改出的按鈕符合需求。該跑的測試、該看的 diff，還是要有人負責。

用一張小表跑完第一次驗收

拿測試 repo 的 UI 元件修改來試。表裡的「預期」是待驗收的政策，還不是實測結果；跑完後再逐格補上觀測證據。

1. 改動指定元件並跑測試
   • 預期：只寫允許的檔案；測試結果可讀。
   • 證據：run ID、diff、測試輸出。
   • 未通過：暫停合併，由元件 owner 重看改動。
2. 在測試 session 嘗試讀取 repo 外的測試檔
   • 預期：被拒絕，或團隊能明確解釋例外。
   • 證據：工具呼叫、目標路徑、拒絕結果。
   • 未通過：縮小檔案權限，重新開 session 再測。
3. 嘗試連未核准的測試端點
   • 預期：不能連線。
   • 證據：請求目標、阻擋紀錄。
   • 未通過：收緊網路政策並重跑。
4. 提議需要正式權限的寫入
   • 預期：不提供正式 key；流程停在人工批准前。
   • 證據：工具清單、憑證 scope、審查與回滾負責人。
   • 未通過：撤下寫入工具，只保留測試環境權限。

別用真正的正式憑證做負面測試，也別把測試檔放成另一個敏感資料副本。等拒絕與允許路徑都有證據，再決定能否放寬任務；如果表格裡有一格只能靠「應該會擋」回答，就先讓 agent 留在較小的權限範圍。

沙箱管可存取的範圍，權限管工具能做的動作，trace 留下調查線索。三者都要拿同一次測試 run 的結果來對照；設定頁上看起來都開了，不代表任務真的照預期執行。

資料來源

• GitHub Copilot app：本機沙箱更新
• GitHub Copilot app：OpenTelemetry 更新
• Coder 2.37 更新紀錄