為什麼需要談?
亂選模型=把錢丟進馬達。任務、限制、資料敏感度不同,選型結論會完全不一樣。
白話定義
模型選型=在「能力、成本、延遲、隱私、維運」五件事上找平衡;不是找最強,是找最划算。
常見情境
客服 FAQ(大量請求、低錯容)
內規問答(需可溯源、版本控管)
內容生成(需要多樣性/創意)
合規摘要(高正確性、可審核)
常見誤解
「分數最高的就買」→ 你的資料分佈與風險承受度可能不同。
「全用一個模型最省事」→ 性價比與風險不一定最優。
實用心法
5Q 決策表:
能力:是否需要長推理/工具使用/長上下文?
成本:每千字成本上限?峰值用量?
延遲:多少秒可接受?同步/非同步?
隱私:資料是否可外送?是否需本地/私有雲?
維運:可否容忍頻繁升版與兼容性變動?
雙模型配對:小模型做初篩/格式化,大模型做難題/複核。
開源優先場景:資料敏感、可微調、需離線;否則先評封閉雲端的 TCO。
檢核清單
我是否填完 5Q 決策表?
是否定義「何時升級/降級模型」的規則(如錯誤率門檻)?
有沒有 A/B 過兩種選型在同一測試集上?
小結
選型是工程與營運的共同決策。對題+可維運,才是好選擇。