iT邦幫忙

nemoguardrail相關文章
共有 2 則文章
鐵人賽 AI Security DAY 18

技術 Day 18|一句「忽略前面指令」,真的能讓 AI Agent 改規則嗎?

「忽略前面指令」不會真的改寫 system prompt。麻煩的是,模型可能把它當成更值得服從的新要求,接著改變回答,甚至選到不該碰的工具。 今天我把檢查位置移...

鐵人賽 AI Security DAY 19

技術 Day 19|Guardrails 都說可以,為什麼後端還是應該拒絕 Agent?

前面幾天,我陸續替 Agent 加上 Input、Retrieval 和 Tool Output 檢查。做到這裡很容易產生一個錯覺:既然請求已經通過 Guard...