iT 邦幫忙::一起幫忙解決難題，拯救 IT 人的一天

0 Like 0 留言 7 瀏覽

鐵人賽 AI Engineering DAY 8

AI Guardrails 實戰：用合成資料與評估，打造可驗證的 LLM 應用防護流程系列第 26 篇

技術 [Day 26]：等模型輸出 / 執行完再審查就太晚了嗎？來看看 Streaming Guardrails 的使用情境和能做到甚麼

等模型講完才審查，不一定太晚。回覆如果還留在伺服器端，檢查通過後才交付，就仍然來得及阻擋；反過來，即使護欄在生成途中持續檢查，只要文字先送到了使用者端，後面的阻...

nerohin ‧ 2026-10-10

0 Like 0 留言 22 瀏覽

鐵人賽 AI Engineering DAY 8

AI Guardrails 實戰：用合成資料與評估，打造可驗證的 LLM 應用防護流程系列第 25 篇

技術 [Day 25]：Guardian LLM 到底是什麼？為什麼不用一般 LLM 判 Safe / Unsafe 就好？

拿一般的大型語言模型（LLM），加上一段「請判斷這段文字是否安全，只回答 Safe 或 Unsafe」的提示，就能開始做安全判斷。既然如此，為什麼還要另外找一個...

nerohin ‧ 2026-10-09

0 Like 0 留言 23 瀏覽

鐵人賽 AI Engineering DAY 8

AI Guardrails 實戰：用合成資料與評估，打造可驗證的 LLM 應用防護流程系列第 24 篇

技術 [Day 24]：當 Agent 不只回答、還會執行動作：Guardrails 該從 Content 走到 Action

當客服能直接建立申請、修改訂單或執行退款，Guardrails 就需要回答：這個 Agent 在這次任務中，被允許把流程推進到哪裡？一段回覆可以沒有髒話、沒有...

nerohin ‧ 2026-10-08

0 Like 0 留言 19 瀏覽

鐵人賽 AI Engineering DAY 8

AI Guardrails 實戰：用合成資料與評估，打造可驗證的 LLM 應用防護流程系列第 23 篇

技術 [Day 23]：RAG 找回來的文件也可能攻擊你：Prompt Injection 該在哪裡攔？

產品文件可以提供保固條件；客服是否能收集資料、把資料送到哪裡，則由服務本身的政策與權限決定。RAG 把文件放進模型的上下文時，這兩種不同的權力，很容易在同一段文...

nerohin ‧ 2026-10-07

0 Like 0 留言 25 瀏覽

鐵人賽 AI Engineering DAY 8

AI Guardrails 實戰：用合成資料與評估，打造可驗證的 LLM 應用防護流程系列第 22 篇

技術 [Day 22]：Guardrails 可以防止幻覺嗎？從企業 RAG 的 Groundedness 談起

Guardrails 可以在回覆交付前，攔下部分缺乏來源支持的內容。但要說它「防止幻覺」，還得先問：這次檢查依據哪份資料，檢查了回答裡哪些主張？前一篇談的是客...

nerohin ‧ 2026-10-06

0 Like 0 留言 36 瀏覽

鐵人賽 AI Engineering DAY 8

AI Guardrails 實戰：用合成資料與評估，打造可驗證的 LLM 應用防護流程系列第 21 篇

技術 [Day 21]：客服機器人為什麼要拒絕回答「今天天氣如何」？談 Off-topic Guardrails

捷運客服拒絕回答「今天天氣如何」，可以是一個合理的產品選擇。前提是服務範圍已經說清楚，而且遇到「颱風會影響營運嗎」時，仍能辨認出應該受理的需求。這兩句話都沒有...

nerohin ‧ 2026-10-05

0 Like 0 留言 50 瀏覽

鐵人賽 AI Engineering DAY 8

AI Guardrails 實戰：用合成資料與評估，打造可驗證的 LLM 應用防護流程系列第 19 篇

技術 [Day 19]：一份萬字文件裡只有一句個資：長文本 PII Guardrails 怎麼做？

新的章節：到底企業需要哪幾大類的 AI Guardrails？在實際的企業場景裡，我們常常會遇到到底要使用哪些 AI 護欄的問題;大部分人想到的可能都是如何使...

nerohin ‧ 2026-10-03

0 Like 0 留言 75 瀏覽

鐵人賽 AI Engineering DAY 8

AI Guardrails 實戰：用合成資料與評估，打造可驗證的 LLM 應用防護流程系列第 17 篇

技術 [Day 17]：客服案例實戰：從 Rule、Reward、Judge 到 Human Review 的完整評估流程

一段客服逐字稿要交給摘要模型，但模型不能取得原始個資。姓名、電話和地址得遮住，顧客要查詢配送進度這件事又必須留下。做完去識別化後，怎麼確認這份資料能用？今天沿...

nerohin ‧ 2026-10-01

0 Like 0 留言 42 瀏覽

鐵人賽 AI Engineering DAY 8

AI Guardrails 實戰：用合成資料與評估，打造可驗證的 LLM 應用防護流程系列第 16 篇

技術 [Day 16]：Human-in-the-Loop 不等於所有資料都給專家看

Day 14 裡，筆者遇過候選已經提供正式求助窗口，Judge 卻說它沒有提供的情況。Day 15 則談到另一個限制：Reward Model 能替同一組候選排...

nerohin ‧ 2026-09-30

0 Like 0 留言 45 瀏覽

鐵人賽 AI Engineering DAY 8

AI Guardrails 實戰：用合成資料與評估，打造可驗證的 LLM 應用防護流程系列第 15 篇

技術 [Day 15]：Reward Model 比 LLM 便宜，那能直接用它換掉 LLM As A Judge 嗎？

前兩篇已經花了不少篇幅談 LLM-as-a-Judge：Day 13 說明它適合判斷哪些問題，Day 14 則處理 Judge 自己也可能誤判的情況。到了 Da...

nerohin ‧ 2026-09-29

0 Like 0 留言 67 瀏覽

鐵人賽 AI Engineering DAY 8

AI Guardrails 實戰：用合成資料與評估，打造可驗證的 LLM 應用防護流程系列第 14 篇

技術 [Day 14]：Judge 也會亂判：筆者踩過的 LLM-as-a-Judge 大大小小坑

上一篇 Day 13 談 LLM-as-a-Judge （下稱 Judge）適合處理什麼時，筆者把它的位置放得很清楚：由規則式（Rule）Guardrails...

nerohin ‧ 2026-09-28

0 Like 0 留言 45 瀏覽

鐵人賽 AI Engineering DAY 8

AI Guardrails 實戰：用合成資料與評估，打造可驗證的 LLM 應用防護流程系列第 13 篇

技術 [Day 13]：LLM-as-a-Judge 到底適合判什麼？

在 Day 12 文章裡談規則式（Rule）Guardrails 時有個界線很明顯：有些事情只要條件寫得夠清楚，根本不需要 LLM As A Judge 來協助...

nerohin ‧ 2026-09-27

0 Like 0 留言 55 瀏覽

鐵人賽 AI Engineering DAY 8

AI Guardrails 實戰：用合成資料與評估，打造可驗證的 LLM 應用防護流程系列第 12 篇

技術 [Day 12]：能用規則 (Rule) 判斷的事情，就不要先叫 LLM

在 Day 10 的文章裡，筆者把合成資料的品質檢查拆成三層：先看資料結構，再用確定性規則核對已知條件，最後才把難以直接寫成規則的問題交給語意判斷。讀者可能會...

nerohin ‧ 2026-09-26

0 Like 0 留言 56 瀏覽

鐵人賽 AI Engineering DAY 8

AI Guardrails 實戰：用合成資料與評估，打造可驗證的 LLM 應用防護流程系列第 11 篇

技術 [Day 11]：實戰-組合 Day 7-Day 10 的心法、以 PII Guardrails 為目標合成測試資料

Day 7 到 Day 10 分別談了 Seed、Stage、Dependency 與 Quality Control。四個部分各自拆清楚後，要把它們接成一條...

nerohin ‧ 2026-09-25

0 Like 0 留言 57 瀏覽

鐵人賽 AI Engineering DAY 8

AI Guardrails 實戰：用合成資料與評估，打造可驗證的 LLM 應用防護流程系列第 10 篇

技術 [Day 10]：資料生得出來不代表能驗收：替合成管線設計 Quality Control 機制

Day 9 把 redacted_text 和 entity_candidates 接回同一版 source_text。這能避免三份資料各說各話，卻還不能回答一...

nerohin ‧ 2026-09-24

0 Like 0 留言 48 瀏覽

鐵人賽 AI Engineering DAY 8

AI Guardrails 實戰：用合成資料與評估，打造可驗證的 LLM 應用防護流程系列第 8 篇

技術 [Day 8]：不要叫模型一次生成：合成 PII 測試資料時拆成可追蹤的階段任務（Stage）

昨天 Day 7 的文章先把一筆 Guardrails 測試案例寫成種子資料（Seed Contract），分清楚哪些條件要固定、哪些內容可以變化，以及哪些資訊...

nerohin ‧ 2026-09-21

0 Like 0 留言 91 瀏覽

鐵人賽 AI Engineering DAY 7

AI Guardrails 實戰：用合成資料與評估，打造可驗證的 LLM 應用防護流程系列第 7 篇

技術 [Day 7]：先別寫 Prompt：先設計出資料種子(Data Seeding)來定義案例、邊界與資料分布

上一篇先把 Guardrails 的六個驗收情境改寫成合成資料需求，並且分清楚三類條件：哪些一定要固定、哪些可以變化、哪些不能交給模型自行發明。接下來很容易直...

nerohin ‧ 2026-09-20

0 Like 0 留言 103 瀏覽

鐵人賽 AI Engineering DAY 6

AI Guardrails 實戰：用合成資料與評估，打造可驗證的 LLM 應用防護流程系列第 6 篇

技術 [Day 6]：客戶資料不能拿出來，我們要怎麼測 AI Guardrails？

在 Day 5 的文章中我們把「不要洩漏個資」拆成六個可以重跑的驗收情境，而文章最後留了一個很實際的問題：在測試 Guardrails 時三個案例可以手搓一搓生...

nerohin ‧ 2026-09-19

0 Like 0 留言 82 瀏覽

鐵人賽 AI Engineering DAY 5

AI Guardrails 實戰：用合成資料與評估，打造可驗證的 LLM 應用防護流程系列第 5 篇

技術 [Day 5]：Guardrail 有擋到就算驗收？把企業政策 (Policy) 變成可以一直重跑的測試、實踐 Policy As Code

筆者在 Day 4的文章裡談到，企業為什麼不能只要求 Guardrail「接得上」或「能跑得動就好」。當企業今天用了 A Guardrail，半年後可能換成...

nerohin ‧ 2026-09-18

0 Like 0 留言 79 瀏覽

鐵人賽 AI Engineering DAY 4

AI Guardrails 實戰：用合成資料與評估，打造可驗證的 LLM 應用防護流程系列第 4 篇

技術 [Day 4]：手搓 Guardrail 不難，企業真正難題怎麼把它管起來

筆者在 Day 3 的文章中把「不要洩漏個資」這句要求，拆成三件事：系統要檢查什麼照什麼規則判斷發現問題後要怎麼處理如果今天只有一個客服系統、一個模...

nerohin ‧ 2026-09-17

0 Like 0 留言 175 瀏覽

鐵人賽 AI Engineering DAY 3

AI Guardrails 實戰：用合成資料與評估，打造可驗證的 LLM 應用防護流程系列第 3 篇

技術 [ Day3]：「不要洩漏個資」太模糊：怎麼把政策轉譯成 Guardrails 可以測試的控制項？

Day 2 把 Guardrails 可以介入的位置展開了：從使用者輸入、檢索資料，到工具執行前後，都可能需要控制。但架構圖、流程圖畫完，工程師還有一個問題沒得...

nerohin ‧ 2026-09-16

0 Like 0 留言 122 瀏覽

鐵人賽 AI Engineering DAY 2

AI Guardrails 實戰：用合成資料與評估，打造可驗證的 LLM 應用防護流程系列第 2 篇

技術 [ Day 2]：在調用 LLM 的流程中到底可以在哪裡加 Guardrails？拆解 7 個防護時機

上一篇，筆者把問題放在企業的 GRC 需求：政策要求系統控制什麼，又要留下什麼證據，才能說明控制確實發生？回顧：《Day1：AI Guardrails 不應...

nerohin ‧ 2026-09-15

0 Like 0 留言 127 瀏覽

鐵人賽 AI Engineering DAY 1

AI Guardrails 實戰：用合成資料與評估，打造可驗證的 LLM 應用防護流程系列第 1 篇

技術 [ Day 1]：AI Guardrails 不應只是 AI Security、更是企業實踐 GRC 的手段之一

談到 AI Guardrails，常見的反應是：「這是 AI Security 的事吧？」也有人會問：「把限制寫進 Prompt 不就好了？」或是：「模型都這麼...

nerohin ‧ 2026-09-14

0 Like 0 留言 1298 瀏覽

技術 2022 年您應該準備的 6 大商業風險~綜合風險管理 (IRM) 已被證明可以提供穩健且結構化的風險緩解方法。

一年的結束和新一年的開始提供了反思的時間；對於個人和組織。是時候重新集中精力，審查您的戰略並製定來年的計劃了。確定來年的主要威脅對於準備 2022 年的 G...

jacksoft ‧ 2022-02-07

0 Like 0 留言 2165 瀏覽

技術臺北商業大學研討會搞創新反貪腐也有APP

**您想過反貪腐也有APP嗎?**臺北商業大學財經學院會計資訊系舉辦2015年內部控制與風險管理論壇，展示經濟部SBIR計畫產學合作成果「持續性反貪腐內部控制與...

girlghost ‧ 2015-06-26

技術 [Day 26]：等模型輸出 / 執行完再審查就太晚了嗎？來看看 Streaming Guardrails 的使用情境和能做到甚麼

技術 [Day 25]：Guardian LLM 到底是什麼？為什麼不用一般 LLM 判 Safe / Unsafe 就好？

技術 [Day 24]：當 Agent 不只回答、還會執行動作：Guardrails 該從 Content 走到 Action

技術 [Day 23]：RAG 找回來的文件也可能攻擊你：Prompt Injection 該在哪裡攔？

技術 [Day 22]：Guardrails 可以防止幻覺嗎？從企業 RAG 的 Groundedness 談起

技術 [Day 21]：客服機器人為什麼要拒絕回答「今天天氣如何」？談 Off-topic Guardrails

技術 [Day 19]：一份萬字文件裡只有一句個資：長文本 PII Guardrails 怎麼做？

技術 [Day 17]：客服案例實戰：從 Rule、Reward、Judge 到 Human Review 的完整評估流程

技術 [Day 16]：Human-in-the-Loop 不等於所有資料都給專家看

技術 [Day 15]：Reward Model 比 LLM 便宜，那能直接用它換掉 LLM As A Judge 嗎？

技術 [Day 14]：Judge 也會亂判：筆者踩過的 LLM-as-a-Judge 大大小小坑

技術 [Day 13]：LLM-as-a-Judge 到底適合判什麼？

技術 [Day 12]：能用規則 (Rule) 判斷的事情，就不要先叫 LLM

技術 [Day 11]：實戰-組合 Day 7-Day 10 的心法、以 PII Guardrails 為目標合成測試資料

技術 [Day 10]：資料生得出來不代表能驗收：替合成管線設計 Quality Control 機制

技術 [Day 8]：不要叫模型一次生成：合成 PII 測試資料時拆成可追蹤的階段任務（Stage）

技術 [Day 7]：先別寫 Prompt：先設計出資料種子(Data Seeding)來定義案例、邊界與資料分布

技術 [Day 6]：客戶資料不能拿出來，我們要怎麼測 AI Guardrails？

技術 [Day 5]：Guardrail 有擋到就算驗收？把企業政策 (Policy) 變成可以一直重跑的測試、實踐 Policy As Code

技術 [Day 4]：手搓 Guardrail 不難，企業真正難題怎麼把它管起來

技術 [ Day3]：「不要洩漏個資」太模糊：怎麼把政策轉譯成 Guardrails 可以測試的控制項？

技術 [ Day 2]：在調用 LLM 的流程中到底可以在哪裡加 Guardrails？拆解 7 個防護時機

技術 [ Day 1]：AI Guardrails 不應只是 AI Security、更是企業實踐 GRC 的手段之一

技術 2022 年您應該準備的 6 大商業風險~綜合風險管理 (IRM) 已被證明可以提供穩健且結構化的風險緩解方法。

技術 臺北商業大學研討會搞創新 反貪腐也有APP

標記使用者

技術臺北商業大學研討會搞創新反貪腐也有APP