—— 模型很聰明,但你知道它昨天都做了什麼嗎?
當傳統系統出問題,我們會查:
但當 AI 系統出錯,我們常聽到的是:
「使用者說它亂講話了。」
「可能 prompt 太複雜了吧?」
「啊⋯⋯沒記錄下來。」
👀 對,就是沒 log,什麼都查不到。
這也是許多企業導入 LLM 最大的隱憂。
項目 | 說明 |
---|---|
使用者資訊 | 誰觸發了這次對話?(帳號 / IP / Session ID) |
Prompt 記錄 | System Prompt / User Prompt 內容 |
模型版本 | 呼叫的是哪個模型?(如 GPT-4 vs Gemini Pro) |
回應內容 | 模型完整輸出,含 Text / Function Call |
外部查詢紀錄 | RAG 查詢了哪些資料?命中哪些 chunks? |
回應時間與延遲 | Response Time / Token 數量 / API latency |
安全事件告警 | 是否命中 DLP、拒答規則、敏感字詞? |
以下是 AI 日誌系統的基本架構:
[使用者端] → prompt →
[API Gateway] → [Log System] → [LLM 模型] →
[回應] → 記錄 → 儲存至日誌資料庫
建議搭配:
PM:「你們那個 AI 昨天是不是洩漏機密文件了?」
你:「⋯⋯我查一下 log」
你打開 Log 系統,發現什麼都沒記、沒存。
PM:「那⋯⋯你能不能還原一下昨天用戶問了什麼?」
你:「……能還原我就不會爆肝了」
🧨 當出事只能靠「回憶」時,資安等於沒做。
AI 系統沒 log,就像飛機沒黑盒子。飛得再穩,也讓人不安心。
AI 模型不是黑箱,但我們要幫它建立「行為留痕」。
記錄就是風險管理的起點,是治理也是責任。
不是每個人都該問模型所有事。
角色、權限、分級存取,才是企業用 AI 的開始。