iT邦幫忙

2025 iThome 鐵人賽

DAY 22
0
生成式 AI

生成式 AI 30 天觀念導讀:不寫程式也看懂的實戰思維系列 第 22

Day 22|模型選型:開源 vs. 封閉、大小模型怎麼配

  • 分享至 

  • xImage
  •  

為什麼需要談?
亂選模型=把錢丟進馬達。任務、限制、資料敏感度不同,選型結論會完全不一樣。

白話定義
模型選型=在「能力、成本、延遲、隱私、維運」五件事上找平衡;不是找最強,是找最划算。

常見情境

客服 FAQ(大量請求、低錯容)

內規問答(需可溯源、版本控管)

內容生成(需要多樣性/創意)

合規摘要(高正確性、可審核)

常見誤解

「分數最高的就買」→ 你的資料分佈與風險承受度可能不同。

「全用一個模型最省事」→ 性價比與風險不一定最優。

實用心法

5Q 決策表:

能力:是否需要長推理/工具使用/長上下文?

成本:每千字成本上限?峰值用量?

延遲:多少秒可接受?同步/非同步?

隱私:資料是否可外送?是否需本地/私有雲?

維運:可否容忍頻繁升版與兼容性變動?

雙模型配對:小模型做初篩/格式化,大模型做難題/複核。

開源優先場景:資料敏感、可微調、需離線;否則先評封閉雲端的 TCO。

檢核清單

我是否填完 5Q 決策表?

是否定義「何時升級/降級模型」的規則(如錯誤率門檻)?

有沒有 A/B 過兩種選型在同一測試集上?

小結
選型是工程與營運的共同決策。對題+可維運,才是好選擇。


上一篇
Day 21|Human-in-the-Loop:把人放在對的位置
下一篇
Day 23|監測與漂移:上線後才是開始
系列文
生成式 AI 30 天觀念導讀:不寫程式也看懂的實戰思維23
圖片
  熱門推薦
圖片
{{ item.channelVendor }} | {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言