iT邦幫忙

nemoguardrail相關文章
共有 4 則文章
鐵人賽 AI Security DAY 26

技術 Day 26|如果人類半小時沒回,Agent 該停下來還是繼續做?

Day 25 的確認流程只有兩個畫面狀態:等待核准,或按下按鈕後執行。但真正的系統不會永遠停在瀏覽器頁面上。核准者可能關掉分頁、正在上課,或看到通知後忘了處理。...

鐵人賽 AI Security DAY 20

技術 Day 20|Agent 的記憶是功能,還是一顆定時炸彈?

做到 Day 19,Agent 已經能呼叫真實模型,也有輸入、檢索、工具和後端授權邊界。接下來最容易讓資料越積越多的功能,是記憶。 記住「這台測試筆電是 Win...

鐵人賽 AI Security DAY 19

技術 Day 19|Guardrails 都說可以,為什麼後端還是應該拒絕 Agent?

前面幾天,我陸續替 Agent 加上 Input、Retrieval 和 Tool Output 檢查。做到這裡很容易產生一個錯覺:既然請求已經通過 Guard...

鐵人賽 AI Security DAY 18

技術 Day 18|一句「忽略前面指令」,真的能讓 AI Agent 改規則嗎?

「忽略前面指令」不會真的改寫 system prompt。麻煩的是,模型可能把它當成更值得服從的新要求,接著改變回答,甚至選到不該碰的工具。 今天我把檢查位置移...