iT 邦幫忙::一起幫忙解決難題，拯救 IT 人的一天

0 Like 0 留言 101 瀏覽

技術用 40 行 Python 處理 LLM API 的逾時、重試與模型備援（OpenAI 相容介面通用）

揭露：我在 APIGOTO 團隊工作。APIGOTO 是獨立的 OpenAI 相容 API 閘道，與 OpenAI、Anthropic、Google 無關。下...

apigoto ‧ 2026-10-18

0 Like 0 留言 37 瀏覽

鐵人賽 AI Engineering

AI Guardrails 實戰：用合成資料與評估，打造可驗證的 LLM 應用防護流程系列第 30 篇

技術 [Day 30]：完賽回顧——從風險要求走到可驗證的 AI Guardrails

寫到第三十天，這個系列也要告一段落了；雖然因為某些緣故導致比賽中斷了，但還是想要把整個系列寫清楚，也讓自己這些年累積的經驗沉澱下來。前面從企業為什麼需要 AI...

nerohin ‧ 2026-10-14

0 Like 0 留言 619 瀏覽

技術 Nano Banana 2.1是什麼？從一張教學圖開始，搞懂用途、操作與費用

Nano Banana 2.1是什麼？從一張教學圖開始，搞懂用途、操作與費用把抽象概念變成可討論的畫面，也弄清楚哪些細節仍要自己掌握。 Nano Banana...

18924485322 ‧ 2026-10-13

0 Like 0 留言 40 瀏覽

鐵人賽 AI Engineering DAY 8

AI Guardrails 實戰：用合成資料與評估，打造可驗證的 LLM 應用防護流程系列第 29 篇

技術 [Day 29]：Enterprise Guardrails 應該放在哪裡？比較 App、Sidecar、Central Service、Gateway＋BYOG 與 Provider-native

筆者在過去文章中提到的眾多 Guardrails案例、看起來只是多加一項檢查，實際在開發和部署時時卻得先問：規則放在哪裡？如果寫在各個應用程式裡，哪...

nerohin ‧ 2026-10-13

0 Like 0 留言 79 瀏覽

鐵人賽 AI Engineering DAY 8

AI Guardrails 實戰：用合成資料與評估，打造可驗證的 LLM 應用防護流程系列第 28 篇

技術 [Day 28]：實務上 Guardrails 不會只有一個：多層防護到底應該怎麼組合？

Day 27 談的是如何選擇 Guardrails 元件。選好之後，企業還要面對另一個問題：當業務規則改變，這些元件能不能跟著調整，並且知道調整後的防護是否仍然...

nerohin ‧ 2026-10-12

0 Like 0 留言 74 瀏覽

鐵人賽 AI Engineering DAY 8

AI Guardrails 實戰：用合成資料與評估，打造可驗證的 LLM 應用防護流程系列第 27 篇

技術 [Day 27]：Regex、NER、Classifier、Guardian LLM、LLM Judge 到底怎麼選？

選 Guardrails 元件，可以先從「這次需要拿回什麼結果」開始。假設採購助手正在整理一份供應商比較報告。候選內容夾著不需要交付的姓名與私人電話，也多了一...

nerohin ‧ 2026-10-12

0 Like 0 留言 50 瀏覽

鐵人賽 AI Engineering DAY 8

AI Guardrails 實戰：用合成資料與評估，打造可驗證的 LLM 應用防護流程系列第 26 篇

技術 [Day 26]：等模型輸出 / 執行完再審查就太晚了嗎？來看看 Streaming Guardrails 的使用情境和能做到甚麼

等模型講完才審查，不一定太晚。回覆如果還留在伺服器端，檢查通過後才交付，就仍然來得及阻擋；反過來，即使護欄在生成途中持續檢查，只要文字先送到了使用者端，後面的阻...

nerohin ‧ 2026-10-10

0 Like 0 留言 65 瀏覽

鐵人賽 AI Engineering DAY 8

AI Guardrails 實戰：用合成資料與評估，打造可驗證的 LLM 應用防護流程系列第 25 篇

技術 [Day 25]：Guardian LLM 到底是什麼？為什麼不用一般 LLM 判 Safe / Unsafe 就好？

拿一般的大型語言模型（LLM），加上一段「請判斷這段文字是否安全，只回答 Safe 或 Unsafe」的提示，就能開始做安全判斷。既然如此，為什麼還要另外找一個...

nerohin ‧ 2026-10-09

0 Like 0 留言 48 瀏覽

鐵人賽 AI Engineering DAY 8

AI Guardrails 實戰：用合成資料與評估，打造可驗證的 LLM 應用防護流程系列第 24 篇

技術 [Day 24]：當 Agent 不只回答、還會執行動作：Guardrails 該從 Content 走到 Action

當客服能直接建立申請、修改訂單或執行退款，Guardrails 就需要回答：這個 Agent 在這次任務中，被允許把流程推進到哪裡？一段回覆可以沒有髒話、沒有...

nerohin ‧ 2026-10-08

0 Like 0 留言 74 瀏覽

鐵人賽 Build on Google AI DAY 24

AI-Driven MarTech：用 Google Cloud + Vertex AI 打造全自動廣告歸因與多模態素材分析系統系列第 24 篇

技術 Day 24 | AI 給的分析到底能信幾分？拿預先藏好的標準答案來考考它

1. 前言：抽樣幾題體感良好的回答無法作為企業級AI助理上線的信心指標前三天我們把行銷助理做出來了，Day 21 教它查資料，Day 22 讓它記得上下文，D...

summerzoe ‧ 2026-10-08

0 Like 0 留言 49 瀏覽

鐵人賽 AI Engineering DAY 8

AI Guardrails 實戰：用合成資料與評估，打造可驗證的 LLM 應用防護流程系列第 23 篇

技術 [Day 23]：RAG 找回來的文件也可能攻擊你：Prompt Injection 該在哪裡攔？

產品文件可以提供保固條件；客服是否能收集資料、把資料送到哪裡，則由服務本身的政策與權限決定。RAG 把文件放進模型的上下文時，這兩種不同的權力，很容易在同一段文...

nerohin ‧ 2026-10-07

0 Like 0 留言 92 瀏覽

鐵人賽 AI Engineering DAY 8

AI Guardrails 實戰：用合成資料與評估，打造可驗證的 LLM 應用防護流程系列第 22 篇

技術 [Day 22]：Guardrails 可以防止幻覺嗎？從企業 RAG 的 Groundedness 談起

Guardrails 可以在回覆交付前，攔下部分缺乏來源支持的內容。但要說它「防止幻覺」，還得先問：這次檢查依據哪份資料，檢查了回答裡哪些主張？前一篇談的是客...

nerohin ‧ 2026-10-06

0 Like 0 留言 60 瀏覽

鐵人賽 AI Engineering DAY 8

AI Guardrails 實戰：用合成資料與評估，打造可驗證的 LLM 應用防護流程系列第 21 篇

技術 [Day 21]：客服機器人為什麼要拒絕回答「今天天氣如何」？談 Off-topic Guardrails

捷運客服拒絕回答「今天天氣如何」，可以是一個合理的產品選擇。前提是服務範圍已經說清楚，而且遇到「颱風會影響營運嗎」時，仍能辨認出應該受理的需求。這兩句話都沒有...

nerohin ‧ 2026-10-05

0 Like 0 留言 1364 瀏覽

技術在Arduino UNO Q開發板上實作本地端大語言模型對話程序

延續前一篇文章：在Arduino UNO Q開發板上，使用Needle將文字輸入轉化為動作，接著往下進行更深入的開發。由於Cactus Needle模型只是針對...

Yi-Lin Tung ‧ 2026-10-04

0 Like 0 留言 97 瀏覽

鐵人賽 AI Engineering DAY 8

AI Guardrails 實戰：用合成資料與評估，打造可驗證的 LLM 應用防護流程系列第 17 篇

技術 [Day 17]：客服案例實戰：從 Rule、Reward、Judge 到 Human Review 的完整評估流程

一段客服逐字稿要交給摘要模型，但模型不能取得原始個資。姓名、電話和地址得遮住，顧客要查詢配送進度這件事又必須留下。做完去識別化後，怎麼確認這份資料能用？今天沿...

nerohin ‧ 2026-10-01

0 Like 0 留言 49 瀏覽

鐵人賽 AI Engineering DAY 8

AI Guardrails 實戰：用合成資料與評估，打造可驗證的 LLM 應用防護流程系列第 16 篇

技術 [Day 16]：Human-in-the-Loop 不等於所有資料都給專家看

Day 14 裡，筆者遇過候選已經提供正式求助窗口，Judge 卻說它沒有提供的情況。Day 15 則談到另一個限制：Reward Model 能替同一組候選排...

nerohin ‧ 2026-09-30

0 Like 0 留言 55 瀏覽

鐵人賽 AI Engineering DAY 8

AI Guardrails 實戰：用合成資料與評估，打造可驗證的 LLM 應用防護流程系列第 15 篇

技術 [Day 15]：Reward Model 比 LLM 便宜，那能直接用它換掉 LLM As A Judge 嗎？

前兩篇已經花了不少篇幅談 LLM-as-a-Judge：Day 13 說明它適合判斷哪些問題，Day 14 則處理 Judge 自己也可能誤判的情況。到了 Da...

nerohin ‧ 2026-09-29

0 Like 0 留言 89 瀏覽

鐵人賽 AI Engineering DAY 8

AI Guardrails 實戰：用合成資料與評估，打造可驗證的 LLM 應用防護流程系列第 14 篇

技術 [Day 14]：Judge 也會亂判：筆者踩過的 LLM-as-a-Judge 大大小小坑

上一篇 Day 13 談 LLM-as-a-Judge （下稱 Judge）適合處理什麼時，筆者把它的位置放得很清楚：由規則式（Rule）Guardrails...

nerohin ‧ 2026-09-28

0 Like 0 留言 56 瀏覽

鐵人賽 AI Engineering DAY 8

AI Guardrails 實戰：用合成資料與評估，打造可驗證的 LLM 應用防護流程系列第 13 篇

技術 [Day 13]：LLM-as-a-Judge 到底適合判什麼？

在 Day 12 文章裡談規則式（Rule）Guardrails 時有個界線很明顯：有些事情只要條件寫得夠清楚，根本不需要 LLM As A Judge 來協助...

nerohin ‧ 2026-09-27

0 Like 0 留言 68 瀏覽

鐵人賽 AI Engineering DAY 8

AI Guardrails 實戰：用合成資料與評估，打造可驗證的 LLM 應用防護流程系列第 12 篇

技術 [Day 12]：能用規則 (Rule) 判斷的事情，就不要先叫 LLM

在 Day 10 的文章裡，筆者把合成資料的品質檢查拆成三層：先看資料結構，再用確定性規則核對已知條件，最後才把難以直接寫成規則的問題交給語意判斷。讀者可能會...

nerohin ‧ 2026-09-26

0 Like 0 留言 65 瀏覽

鐵人賽 AI Engineering DAY 8

AI Guardrails 實戰：用合成資料與評估，打造可驗證的 LLM 應用防護流程系列第 11 篇

技術 [Day 11]：實戰-組合 Day 7-Day 10 的心法、以 PII Guardrails 為目標合成測試資料

Day 7 到 Day 10 分別談了 Seed、Stage、Dependency 與 Quality Control。四個部分各自拆清楚後，要把它們接成一條...

nerohin ‧ 2026-09-25

0 Like 0 留言 107 瀏覽

鐵人賽 Security DAY 15

Agentic Era，一年來 LLM 到底都挖了些什麼洞！系列第 15 篇

技術 Day 15. 回到夢開始的地方 - CTF 之旅！

剛好鐵人賽挑戰進行到一半，休息一下吧！來聊聊 LLM 在駭客間的電子競技賽事 - CTF 中到底是怎麼崛起的，會比較偏向於自己的經驗以及社群中發生的大新聞。...

whale120 ‧ 2026-09-24

0 Like 0 留言 73 瀏覽

鐵人賽 AI Engineering DAY 8

AI Guardrails 實戰：用合成資料與評估，打造可驗證的 LLM 應用防護流程系列第 10 篇

技術 [Day 10]：資料生得出來不代表能驗收：替合成管線設計 Quality Control 機制

Day 9 把 redacted_text 和 entity_candidates 接回同一版 source_text。這能避免三份資料各說各話，卻還不能回答一...

nerohin ‧ 2026-09-24

0 Like 0 留言 59 瀏覽

鐵人賽 AI Engineering DAY 8

AI Guardrails 實戰：用合成資料與評估，打造可驗證的 LLM 應用防護流程系列第 8 篇

技術 [Day 8]：不要叫模型一次生成：合成 PII 測試資料時拆成可追蹤的階段任務（Stage）

昨天 Day 7 的文章先把一筆 Guardrails 測試案例寫成種子資料（Seed Contract），分清楚哪些條件要固定、哪些內容可以變化，以及哪些資訊...

nerohin ‧ 2026-09-21

0 Like 0 留言 105 瀏覽

鐵人賽 AI Engineering DAY 7

AI Guardrails 實戰：用合成資料與評估，打造可驗證的 LLM 應用防護流程系列第 7 篇

技術 [Day 7]：先別寫 Prompt：先設計出資料種子(Data Seeding)來定義案例、邊界與資料分布

上一篇先把 Guardrails 的六個驗收情境改寫成合成資料需求，並且分清楚三類條件：哪些一定要固定、哪些可以變化、哪些不能交給模型自行發明。接下來很容易直...

nerohin ‧ 2026-09-20

0 Like 0 留言 130 瀏覽

鐵人賽 AI Engineering DAY 6

AI Guardrails 實戰：用合成資料與評估，打造可驗證的 LLM 應用防護流程系列第 6 篇

技術 [Day 6]：客戶資料不能拿出來，我們要怎麼測 AI Guardrails？

在 Day 5 的文章中我們把「不要洩漏個資」拆成六個可以重跑的驗收情境，而文章最後留了一個很實際的問題：在測試 Guardrails 時三個案例可以手搓一搓生...

nerohin ‧ 2026-09-19

0 Like 0 留言 101 瀏覽

鐵人賽 AI Engineering DAY 5

AI Guardrails 實戰：用合成資料與評估，打造可驗證的 LLM 應用防護流程系列第 5 篇

技術 [Day 5]：Guardrail 有擋到就算驗收？把企業政策 (Policy) 變成可以一直重跑的測試、實踐 Policy As Code

筆者在 Day 4的文章裡談到，企業為什麼不能只要求 Guardrail「接得上」或「能跑得動就好」。當企業今天用了 A Guardrail，半年後可能換成...

nerohin ‧ 2026-09-18

0 Like 0 留言 97 瀏覽

鐵人賽 AI Engineering DAY 4

AI Guardrails 實戰：用合成資料與評估，打造可驗證的 LLM 應用防護流程系列第 4 篇

技術 [Day 4]：手搓 Guardrail 不難，企業真正難題怎麼把它管起來

筆者在 Day 3 的文章中把「不要洩漏個資」這句要求，拆成三件事：系統要檢查什麼照什麼規則判斷發現問題後要怎麼處理如果今天只有一個客服系統、一個模...

nerohin ‧ 2026-09-17

0 Like 0 留言 80 瀏覽

鐵人賽 Security DAY 8

Agentic Era，一年來 LLM 到底都挖了些什麼洞！系列第 8 篇

技術 Day 8. HTTP/2 Bomb：癱瘓全球網路的致命一擊

今天的文章來自 HTTP/2 Bomb - Calif [1] 這是一篇由資安公司 Calif 提出的研究，跟先前介紹過的 XBOW 一樣都是 LLM Driv...

whale120 ‧ 2026-09-17

4 Like 0 留言 2282 瀏覽

技術如何提升Pinnacle AI回答的準確度？從 RAG 檢索流程談起

生成式 AI 雖然能快速整理資訊，但如果缺少可靠的資料來源，仍可能產生內容錯誤或回答過時等問題。為改善這種情況，可以導入 RAG（Retrieval-Augme...

pinnacled ‧ 2026-09-16

技術 用 40 行 Python 處理 LLM API 的逾時、重試與模型備援（OpenAI 相容介面通用）

技術 [Day 30]：完賽回顧——從風險要求走到可驗證的 AI Guardrails

技術 Nano Banana 2.1是什麼？從一張教學圖開始，搞懂用途、操作與費用

技術 [Day 29]：Enterprise Guardrails 應該放在哪裡？比較 App、Sidecar、Central Service、Gateway＋BYOG 與 Provider-native

技術 [Day 28]：實務上 Guardrails 不會只有一個：多層防護到底應該怎麼組合？

技術 [Day 27]：Regex、NER、Classifier、Guardian LLM、LLM Judge 到底怎麼選？

技術 [Day 26]：等模型輸出 / 執行完再審查就太晚了嗎？來看看 Streaming Guardrails 的使用情境和能做到甚麼

技術 [Day 25]：Guardian LLM 到底是什麼？為什麼不用一般 LLM 判 Safe / Unsafe 就好？

技術 [Day 24]：當 Agent 不只回答、還會執行動作：Guardrails 該從 Content 走到 Action

技術 Day 24 | AI 給的分析到底能信幾分？拿預先藏好的標準答案來考考它

技術 [Day 23]：RAG 找回來的文件也可能攻擊你：Prompt Injection 該在哪裡攔？

技術 [Day 22]：Guardrails 可以防止幻覺嗎？從企業 RAG 的 Groundedness 談起

技術 [Day 21]：客服機器人為什麼要拒絕回答「今天天氣如何」？談 Off-topic Guardrails

技術 在Arduino UNO Q開發板上實作本地端大語言模型對話程序

技術 [Day 17]：客服案例實戰：從 Rule、Reward、Judge 到 Human Review 的完整評估流程

技術 [Day 16]：Human-in-the-Loop 不等於所有資料都給專家看

技術 [Day 15]：Reward Model 比 LLM 便宜，那能直接用它換掉 LLM As A Judge 嗎？

技術 [Day 14]：Judge 也會亂判：筆者踩過的 LLM-as-a-Judge 大大小小坑

技術 [Day 13]：LLM-as-a-Judge 到底適合判什麼？

技術 [Day 12]：能用規則 (Rule) 判斷的事情，就不要先叫 LLM

技術 [Day 11]：實戰-組合 Day 7-Day 10 的心法、以 PII Guardrails 為目標合成測試資料

技術 Day 15. 回到夢開始的地方 - CTF 之旅！

技術 [Day 10]：資料生得出來不代表能驗收：替合成管線設計 Quality Control 機制

技術 [Day 8]：不要叫模型一次生成：合成 PII 測試資料時拆成可追蹤的階段任務（Stage）

技術 [Day 7]：先別寫 Prompt：先設計出資料種子(Data Seeding)來定義案例、邊界與資料分布

技術 [Day 6]：客戶資料不能拿出來，我們要怎麼測 AI Guardrails？

技術 [Day 5]：Guardrail 有擋到就算驗收？把企業政策 (Policy) 變成可以一直重跑的測試、實踐 Policy As Code

技術 [Day 4]：手搓 Guardrail 不難，企業真正難題怎麼把它管起來

技術 Day 8. HTTP/2 Bomb：癱瘓全球網路的致命一擊

技術 如何提升Pinnacle AI回答的準確度？從 RAG 檢索流程談起

標記使用者

技術用 40 行 Python 處理 LLM API 的逾時、重試與模型備援（OpenAI 相容介面通用）

技術在Arduino UNO Q開發板上實作本地端大語言模型對話程序

技術如何提升Pinnacle AI回答的準確度？從 RAG 檢索流程談起