iT邦幫忙

鐵人檔案

2026 iThome 鐵人賽
回列表
Build on Google AI

在贏家書寫歷史之前:我所看見的 AI,與一位工程師共舞著 系列

如果未來的歷史將由贏家書寫,我可能無法肯定書寫歷史的,會是人類?還是 AI?身為一位 AI 學術背景的軟體工程師,從求學時期研究神經網路,到見證 Transformer 降臨的學術奇異點,再到看著它走出論文,跟著 Agent 一搭一唱,開始寫程式碼、呼叫工具、甚至自我進行迴圈。我也算是看著 AI 長大,不是親爸也算是半個乾爸,難免感慨這一切都過得很快,同時鋪天蓋地的取代聲浪也撲面而來,焦慮的同時我認真思考我還能做什麼?或許我能親手書寫一段歷史,一段從「我看見」走向「我預見」的 30 天旅程(我希望是這樣啦)。可能 AI 最終真的會把我們取代,但至少直到最後一刻,我們都與 AI 共舞著。

參賽天數 10 天 | 共 10 篇文章 | 0 人訂閱 訂閱系列文 RSS系列文
DAY 1

Day 01 | 我所看見的 AI:一個軟體工程師的告白(上)

「反正,至少直到最後一刻,我們與 AI 共舞著!」這句話出自於我在一頓 AI 焦慮後的感慨,多浪漫(中二)的一句話啊!可能正是這句話,一直支撐著我對軟體開發的熱...

DAY 2

Day 02 | 我所看見的 AI:一個軟體工程師的告白(下)

接續昨天的故事,時間來到 2022 年底,接下來的故事大家就再熟悉不過了。OpenAI 推出了 ChatGPT 這項服務,實際把 AI 模型帶到應用端,真實去解...

DAY 3

Day 03 | 少年 Token(上):BPE 分詞演算法的奇幻起點

大家在剛開始綁定 OpenAI、Anthropic 或是 Google Cloud 信用卡時,多少都有過一個想法:明明我剛才只是在對話框裡輸入了幾百個中文字,為...

DAY 4

Day 04 | 少年 Token(中):SentencePiece 說文解字

來做個小實驗吧!我們實際來試看看自己透過 BPE 建立一個分詞器(Tokenizer),接著用我們訓練好的分詞器進行分詞(Tokenize)看看。這次我使用的是...

DAY 5

Day 05 | 少年 Token(下):從 Token 到 Embedding

昨天文章最後留了一個問題「當一段長文字送進分詞器時,底層怎麼決定在哪裡切一刀當作一個 Token 的,哪裡該合併?」今天我們來把 Token 出航前的最後半哩路...

DAY 6

Day 06 | 少年 Token(番外):那 Unigram 呢?

對,昨天爬了一下文,發現有點嚴重的事,稍微打亂了計劃?! 原本預計今天要進到 LLM 內部,結果在想今天要寫的內容時,滑了一下大神整理的文章,以及 Gemma...

DAY 7

Day 07 | 少年 Token 的奇幻漂流(上):為什麼現代 LLM 都是 Decoder-Only?

前幾天一定有人有疑問,標題為什麼叫「少年 Token」,沒錯,我只是為了這段標題 XDD 之前我們了解了 Token 從何而來,不管是 BPE 還是 Unigr...

DAY 8

Day 08 | 少年 Token 的奇幻漂流(中):單一 Decoder Block 裡面有什麼?

昨天我們聊到,幾乎所有現代 LLM 都選擇了 Decoder-Only 架構,利用「猜下一個字、再黏回句尾當下一輪的 Input」的自回歸迴圈,逐一把回答輸出。...

DAY 9

Day 09 | 少年 Token 的奇幻漂流(下):深入 Self-Attention

1. Q & K & V! 在 Self-Attention 的運算裡,Q、K、V 並不是什麼神秘的特殊物件,它們純粹就是同一個輸入向量,分別乘上三張不同的權重...

DAY 10

Day 10 | 少年 Token 的奇幻漂流(終):淺出 Self-Attention

昨天我們用向量的角度理解一遍 Self-Attention。今天,我們用一個模擬的方式,來試著再理解一次。(這個例子我想好久,不完美但可能有點 fu) 想像桌上...