淺入探討 LLM：它是如何運作的？

這一篇文章，我們將正式進入 AI 的領域，從簡單開始，逐步深入解釋。無論你是 AI 的新手，還是已經有一定基礎的專家，都能從中找到值得學習的內容。如果你已經熟悉這個領域，可以直接跳到你感興趣的部分。

起源：機器學習與人工智慧

讓我們從最基礎的問題開始：為什麼 AI 具備如此強大的能力？機器學習又是什麼？

其實，AI 的原理可以用我們在小學學到的方程式來解釋，例如：

y = ax + b

想像你正在解一個國小數學題目：
當 x = 1 時，y = 12；當 x = 2 時，y = 20。求 a 和 b 的值。
通過代入法，我們可以得到：

a = 8
b = 4

AI 的工作原理與這個例子非常相似，只不過它要處理的未知數是數十億甚至數百億個變量。這樣的問題變得更加複雜，例如：

當 x 是一張貓的圖片時，y = 貓。
當 x 是一張狗的圖片時，y = 狗。

透過「解未知數」，我們就能得到一個可以辨識物體的方程式。這就是現代人工智慧的核心思想——通過大量的訓練數據，找到可以解決問題的方程式。

當然，實際上的算法、模型和處理過程遠比這簡單的方程式複雜得多。如果你對這個領域感興趣，可以參考生成式 AI 導論 2024來進一步學習。

生成式 AI

了解了 AI 的基本原理後，我們來聊聊生成式 AI。

什麼是生成式 AI？

早期的 AI 技術主要應用於辨識、分類和預測等已知問題的解決。而生成式 AI 則是一種可以根據輸入的指令，創造出全新內容的技術。以下是幾個例子：

1. 文字生成：ChatGPT、Bard 和 Claude 等工具可以生成程式碼、有趣的對話，甚至完整的文章。
2. 圖片生成：像 DALL·E 和 Midjourney 可以根據描述生成獨特的圖像，譬如「一隻飛在天空的獨角獸」。
3. 音樂生成：AI 能像作曲家一樣創作音樂，如 Suno AI。
4. 語音合成：AI 甚至能生成像人類一樣自然的語音，這就是為什麼我們可以與 Siri 或 Google 助理對話。

大型語言模型（LLM）

大型語言模型（LLM）可以理解成手機上的自動選字功能的進階版。當你打字時，手機會根據已輸入的詞推薦下一個可能的詞。LLM 也是這樣工作，只是它學習了海量的文本資料，能做出更加複雜和智慧的預測。

LLM 是如何運作的？

LLM 是透過「閱讀」大量的資料來學習語言，它並不像人類那樣真正「理解」語言，而是依據統計來預測應該出現的詞。例如，你輸入「今天天氣真」，它會根據數據預測「好」這個詞最有可能出現。

當這種「自動選字」模型的規模擴大到數百億個參數，並且經過複雜的訓練，它就能呈現出類似智慧的行為，能夠寫文章、詩詞，甚至生成程式碼。

LLM 的優勢

1. 應用廣泛：只要是可以用文字表示的內容，LLM 幾乎都能處理，從聊天到生成程式碼，功能非常強大。
2. 理解上下文：LLM 不僅能預測單一詞語，還能理解整段文字的上下文關係。例如，當你問「今天怎麼樣？」它能根據對話內容給出合適的回應。

LLM 的缺點

1. 需要大量資源：訓練 LLM 需要非常龐大的計算資源和海量數據，這通常只有大公司或具備豐富資源的團隊才能實現。
2. 不可完全信賴：LLM 的回答只是基於統計和預測，它並不真正理解語言，因此在一些情況下，它的回答可能會不準確或令人誤解。
3. 數學不夠好：LLM 是依據統計預測，而不是像人類那樣「計算」，所以它處理數學問題的時候往往不可靠。
4. 記憶有限：LLM 無法記住過長的對話或文章，在處理長篇內容時，容易遺漏前面的細節或失去上下文的連貫性。

這篇文章希望能讓你對 LLM 有更深入的理解。
接下來我們會開始實際操作 LLM