如果未來的歷史將由贏家書寫,我可能無法肯定書寫歷史的,會是人類?還是 AI?身為一位 AI 學術背景的軟體工程師,從求學時期研究神經網路,到見證 Transformer 降臨的學術奇異點,再到看著它走出論文,跟著 Agent 一搭一唱,開始寫程式碼、呼叫工具、甚至自我進行迴圈。我也算是看著 AI 長大,不是親爸也算是半個乾爸,難免感慨這一切都過得很快,同時鋪天蓋地的取代聲浪也撲面而來,焦慮的同時我認真思考我還能做什麼?或許我能親手書寫一段歷史,一段從「我看見」走向「我預見」的 30 天旅程(我希望是這樣啦)。可能 AI 最終真的會把我們取代,但至少直到最後一刻,我們都與 AI 共舞著。
「反正,至少直到最後一刻,我們與 AI 共舞著!」這句話出自於我在一頓 AI 焦慮後的感慨,多浪漫(中二)的一句話啊!可能正是這句話,一直支撐著我對軟體開發的熱...
接續昨天的故事,時間來到 2022 年底,接下來的故事大家就再熟悉不過了。OpenAI 推出了 ChatGPT 這項服務,實際把 AI 模型帶到應用端,真實去解...
大家在剛開始綁定 OpenAI、Anthropic 或是 Google Cloud 信用卡時,多少都有過一個想法:明明我剛才只是在對話框裡輸入了幾百個中文字,為...
來做個小實驗吧!我們實際來試看看自己透過 BPE 建立一個分詞器(Tokenizer),接著用我們訓練好的分詞器進行分詞(Tokenize)看看。這次我使用的是...
昨天文章最後留了一個問題「當一段長文字送進分詞器時,底層怎麼決定在哪裡切一刀當作一個 Token 的,哪裡該合併?」今天我們來把 Token 出航前的最後半哩路...
對,昨天爬了一下文,發現有點嚴重的事,稍微打亂了計劃?! 原本預計今天要進到 LLM 內部,結果在想今天要寫的內容時,滑了一下大神整理的文章,以及 Gemma...
前幾天一定有人有疑問,標題為什麼叫「少年 Token」,沒錯,我只是為了這段標題 XDD 之前我們了解了 Token 從何而來,不管是 BPE 還是 Unigr...
昨天我們聊到,幾乎所有現代 LLM 都選擇了 Decoder-Only 架構,利用「猜下一個字、再黏回句尾當下一輪的 Input」的自回歸迴圈,逐一把回答輸出。...
1. Q & K & V! 在 Self-Attention 的運算裡,Q、K、V 並不是什麼神秘的特殊物件,它們純粹就是同一個輸入向量,分別乘上三張不同的權重...
昨天我們用向量的角度理解一遍 Self-Attention。今天,我們用一個模擬的方式,來試著再理解一次。(這個例子我想好久,不完美但可能有點 fu) 想像桌上...