2026 iThome 鐵人賽

AI Engineering

Day 17

2026-10-01

21

0

AI Reliability Lab：30 天用 Python 把「AI 好像很準」變成可以量的工程指標系列

Day 17｜Sample 抽越多次就越可靠嗎？可不一定

Day 16 做完後，我原本很自然地想到一件事：既然三次 independent sampling 太粗，那多抽幾次不就好了？現在每題只有 3 個 sampl...

F24131128

AI Engineering

Day 8

2026-09-30

23

0

AI Guardrails 實戰：用合成資料與評估，打造可驗證的 LLM 應用防護流程系列

[Day 16]：Human-in-the-Loop 不等於所有資料都給專家看

Day 14 裡，筆者遇過候選已經提供正式求助窗口，Judge 卻說它沒有提供的情況。Day 15 則談到另一個限制：Reward Model 能替同一組候選排...

nerohin

AI Engineering

Day 16

2026-09-30

23

0

同一把尺，30 天橫評 AI Agent Skill：從單篇實測到一份能查的選用指南系列

Day 16 | skill-scanner：一個把自己「抓不到多少」講清楚的 Skill 安全掃描工具

這系列走到今天，裝過的 plugin、skill 已經一大串了。每次都在測「這個 skill 有沒有用」，卻沒問過另一個更基本的問題：這些從 marketpla...

Ci

AI Engineering

Day 16

2026-09-30

39

0

和 AI 一同打造個人專用知識庫：從零散資料到可運用的知識系列

Day 16｜創建知識庫之旅：找不到資料時，我希望 AI 怎麼回答？

上一篇用模糊描述，測試能不能找回知識庫裡的 BlackByte 案例。雖然沒有輸入名稱，系統還是找到了相關資料，這有接近我原本的期待。不過，接著想到另一個問題...

CYT

團隊飛飛的資安大圈圈

AI Engineering

Day 16

2026-09-30

48

0

AI Reliability Lab：30 天用 Python 把「AI 好像很準」變成可以量的工程指標系列

Day 16｜模型每題都說 100% 有把握，這個 Confidence 還有用嗎？

Day 15 跑完 frozen benchmark 後，整體結果其實滿漂亮的。24 題裡答對 23 題，Accuracy 是 95.83%，Agreement...

F24131128

AI Engineering

Day 17

2026-09-30

61

0

30 天拆解 Wearable × AI：從穿戴裝置生理訊號到AI健康洞察系列

Day 17｜Deviation Detection：什麼是今天跟平常不一樣？

今天為什麼研究這個？ Day 16 已能為每個目標日輸出 personal baseline 的 center、scale 與資料狀態。下一個問題是：今天的值離...

sleepbug