表面便宜，實際昂貴
很多主管一開始聽到「生成式 AI」會以為：

• API 有免費額度
• 開源模型可以自己架
• Prompt 馬上就能用

但真正進入專案後才發現：
最大的成本往往不是 license，而是隱性開銷。

一、算力成本：不只是 GPU 價格

• 雲端租用：大模型推理動輒需要 A100 / H100，一張卡一小時上百元美金。
• 本地自建：買卡便宜，但還要機櫃、散熱、電力、人力維護。
• 隱性成本：
  • 併發量增加 → 成本曲線爆炸
  • 模型更新（每半年一次） → 舊卡過時
  • 24/7 SLA → 需要額外備援

我看過一間中小企業：原本預算 50 萬新台幣做「AI 客服」，結果半年下來光是雲端推理帳單就破百萬。

二、資料成本：清理比收集更貴

• 收集：文件、PDF、工單、對話紀錄，很多企業都有。
• 清理：格式不一、拼字錯誤、錯誤標籤，人工修訂花的錢遠超過收集。
• 隱性成本：
  • 標註人力（domain expert）→ 專業時間昂貴
  • 權限控管（哪些人能看哪些文件）→ 系統整合費用
  • 資料維護（持續新增/更新）→ 不是一次性，而是常態開銷

有工廠嘗試把維修紀錄丟進 RAG，結果 AI 回答常常亂講。追查後才發現：紀錄 30% 是錯字、縮寫、甚至「抄錯機台號」。清理這些資料比寫程式還累。

三、人才成本：AI 工程師 ≠ 傳統 IT

• 稀缺性：熟悉 LLM + MLOps + 向量資料庫的人才不多，薪資普遍高。
• 培訓成本：既有 IT 團隊需要重新學習 RAG、Prompt Engineering、模型微調。
• 隱性成本：
  • 人才流動率高 → 需要持續招募與交接
  • 領域專家與 AI 工程師要長時間磨合 → 溝通成本
  • 「養團隊 vs 外包顧問」的選擇 → 長期費用差異巨大

我認識的一家公司，最後決定「不養 AI 團隊」，改用顧問合作。但顧問費用是每月幾十萬，依舊是一筆長期支出。

四、隱性成本的組合效應
算力、資料、人才三者疊加，常見的情境是：

• POC 階段（幾十萬）→ 感覺很划算
• 進入生產（上百萬）→ 發現成本直線上升
• 長期維護（持續燒錢）→ 必須重新評估 ROI

結語
生成式 AI 的導入就像買車：

• 車子本身（模型）可能便宜甚至免費
• 但保養、油錢、維修（算力、資料、人才）才是大頭

真正要評估的不是「能不能做」，而是「能不能持續運行」。
這也是為什麼越來越多企業在 POC 後停下來，因為隱性成本遠超過原本想像。