iT邦幫忙

2025 iThome 鐵人賽

DAY 25
0
生成式 AI

LLM 學習筆記 - 從 LLM 輸入問題,按下 Enter 後會發生什麼事?系列 第 25

Day 25. 線性代數:從數學再看一次 LLM 中的語言

  • 分享至 

  • xImage
  •  

最後幾天,想留給學習 LLM 中心中最軟的一塊 - 數學,固然從概念、從實做交叉切入了 LLM 是怎麼產生,但有些數學觀念在我心裡依舊模模糊糊,尤其作為一個連線性代數跟微積分印象還停留在大學之前,從那之後就是一片空白的我,想試著在鐵人賽期間稍微撿起一點點。

向量基礎

從最一開始的概念提到一串數學編碼、到後來在實做開始進行向量計算,現在要回過頭看數學中的向量是什麼意思?

向量可以是一個以原點為起點,帶有方向的數值、可以是一個 Array,而數學角度看向量是更抽象的,只要兩個方框內的數字可以進行運算就是向量。向量的加法代表著,今天在空間中的移動總共多少;純數乘法代表著空間上的縮放。

而如果今天將座標系當成一個單位為 1, 1 的表格系統時,可以很單純的說 [2, 3] 的向量代表 2×1 單位 x 方向 + 3×1 單位 y 方向但可以再抽象一層,x 軸是 $\hat{i}$、y 軸是 $\hat{j}$ 的存在,而過去的 [2, 3] 實際上是 $2 * \hat{i} + 3 * \hat{j}$。這樣的抽象關係,帶給向量很彈性的轉換觀點。我們只要改變 $\hat{i}$ 跟 $\hat{j}$ 的形狀,就可以改變原先在最普通 2×1 單位 x 方向 + 3×1 單位 y 方向的直線看起來的模樣。

TBC

LLM 與向量的關係

TBC


上一篇
Day 24. Weights: 從做 LLM 中保存與載入訓練結果
系列文
LLM 學習筆記 - 從 LLM 輸入問題,按下 Enter 後會發生什麼事?25
圖片
  熱門推薦
圖片
{{ item.channelVendor }} | {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言