LLM 和 Transformer

前面我們已經聊到 LLM 的快速發展，以及它不可忽視的能力。講個笑話，曾經有個程式設計師上班時無法工作，老闆問為什麼? 他回答:因為現在 ChatGPT 當機了。這雖然聽起來是虛構的，但已經體現出 ChatGPT 大大的影響我們的工作型態。

而 Transformer，是 ChatGPT 得以取得巨大成功的一個關鍵技術。Transformer 是一個深度學習架構，由 Google 所提出 [1]。相對於先前的深度學習技術，例如 RNN 或 CNN，它主要的作法使用注意力機制 (Attention)，精確來說是使用自注意力(Self-attention)來提高重點關注對象的權重，並且降低非關注對象的權重，以便產生正確的生成結果。

自注意力(Self-attention)的作法是，會考慮每個元素(例如文字)與整個輸入序列(Input Sequence)的關聯性來計算這個元素的權重。這樣做的好處是讓深度學習模型可以擺脫對輸入順序的高度依賴，以便根據上下文的資訊來處理輸入序列。這讓模型能夠同時考慮輸入序列所有元素彼此之間的關係，從而能夠達到更好的學習效果與速度。

從 GPT-3 到 GPT-4: 見證 AI 奇點的出現

從 GPT-3 於 2022 年推出以來，目前最新的進展已經到了 GPT-4o。如果你用過 GPT-3，你會認為 AI 的能力還差得遠，但是隨著新版本的 GPT 不斷推出，所展現出來的能力已經越來越讓人驚豔。例如我現在做簡報時，就常常使用 GPT-4o 來幫我畫四格漫畫，解釋複雜的概念。

而在我求學的年代，當我們學習 AI 時，講台上的老師還在感嘆不知道何年何月，才能看到生成式 AI 的出現。沒想到 GPT 就這麼的橫空出世，這也就是我們稱 2022 年是 AI 奇點年的原因。

接下來呢? 未來的發展趨勢

LLM 未來的發展趨勢主要為: 1.提高生成式內容的正確性，2.增加模型的個人化，以及 3.應用於專業領域的 AI。

而不只是 ChatGPT，目前有更多生成式 AI 工具可以使用，例如:Gemini、Claude、Perplexity AI 等。還有更多針對特定功能推出的 AI 協作工具。預期未來，會有更多更好用的 AI 工具問世。

結論

今天我們簡要回顧了 LLM 的核心技術: Transformer，並且討論了 GPT-3 到 GPT-4，以及其他目前主流的生成式 AI 工具。

處在 AI 時代，學習生成式 AI 工具，已經像以前需要學習文書處理工具一樣重要了。預期在未來求職網站上，會出現要求具備生成式 AI 工具使用技能的職位描述。讓我們一起擁抱 AI 吧!

在下一篇中，我們將開始探討 LLM 如何重塑區塊鏈技術，明天見囉!

參考資料:

1. Vaswani, A. (2017). Attention is all you need. Advances in Neural Information Processing Systems.