iT邦幫忙

鐵人檔案

2026 iThome 鐵人賽
回列表
AI Security

從 LLM、Agent 到 Guardrails:30 天打造可控、安全、可驗證的 AI Agent 系列

我一直覺得,AI Agent 最讓人不安的地方,不是它答錯問題,而是它開始能幫你開工單、查資料、呼叫 API 之後,誰來決定它能做到哪裡?

這 30 天,我會用 LangChain 建立一個 IT Helpdesk Agent,從最小的 mock 工單功能開始,逐步加入 NeMo Guardrails、RAG 防護、工具權限、人工核准與 audit log。也會用 Promptfoo 測試 prompt injection、越權與工具濫用。目標不是做出看起來很聰明的 Agent,而是做出一個能被測試、被追查,也知道何時該停下來的 Agent。

參賽天數 0 天 | 共 0 篇文章 | 0 人訂閱 訂閱系列文 RSS系列文 團隊nutc imac
還沒有任何文章哦