** 為什麼要談基礎建材?**
在軟體開發裡,我們常說「工欲善其事,必先利其器」。
生成式 AI 看似神奇,但它其實建立在三塊基礎建材之上:語料庫、算力、框架。
少了任何一塊,模型都不可能有今天的表現。
一、語料庫:知識的原料
語言模型的「智慧」來自資料。
我第一次嘗試自己訓練小模型時,資料只有幾萬筆客服紀錄,結果模型學出來的回答就像一個「失憶的客服人員」,語言通順,但知識有限。
這讓我深刻體會:
👉 沒有足夠、乾淨、多樣的資料,再強的架構都派不上用場。
** 二、算力:燒錢的引擎**
有了資料,還需要龐大的算力。
GPU / TPU 是主力,能加速矩陣運算。
訓練成本:訓練 GPT-3 級別模型,據估計需要數千張 GPU、幾週時間,花費上千萬美元。
我自己最接近這塊的經驗,是用幾張租來的雲端 GPU 訓練小模型。短短三天,帳單就逼近一個月薪水。
那時候我才明白:訓練大模型不是技術問題,而是「錢包問題」。
三、框架:讓模型跑起來的骨架
最後,開發者需要一個框架,把資料與算力串起來。
我印象很深的一次,是第一次用 Hugging Face 下載 BERT 模型。不到五行程式碼,模型就能開始推理。這種體驗差不多就是 AI 開發的「Hello World」時刻。
** 四、三者的關係**
如果要用一個比喻:
只有三者齊備,才能端出一道真正能吃的菜。
缺資料,就算火力再強也是空煮;缺算力,食材再多也煮不熟;缺框架,就算有廚房與食材,也沒有辦法組合成菜色。
結語
生成式 AI 的魔法,其實只是這三塊基礎建材的結果。
理解它們,能幫助我們看清楚:
AI 不是魔術,而是工程。
這樣,我們在談論模型的時候,就能更務實地回答:
「它需要多少資料?」
「跑得動嗎?」
「用什麼框架才最適合?」
當我們開始問這些問題時,才算真的踏進 AI 開發的大門。