最後幾天，想留給學習 LLM 中心中最軟的一塊 - 數學，固然從概念、從實做交叉切入了 LLM 是怎麼產生，但有些數學觀念在我心裡依舊模模糊糊，尤其作為一個連線性代數跟微積分印象還停留在大學之前，從那之後就是一片空白的我，想試著在鐵人賽期間稍微撿起一點點。

向量

從最一開始的概念提到一串數學編碼、到後來在實做開始進行向量計算，現在要回過頭看數學中的向量是什麼意思？

向量可以是一個以原點為起點，帶有方向的數值、可以是一個 Array，而數學角度看向量是更抽象的，只要兩個方框內的數字可以進行運算就是向量。向量的加法代表著，今天在空間中的移動總共多少；純數乘法代表著空間上的縮放。

而如果今天將座標系當成一個單位為 1, 1 的表格系統時，可以很單純的說 [2, 3] 的向量代表 2×1 單位 x 方向 + 3×1 單位 y 方向但可以再抽象一層，x 軸是 $\hat{i}$、y 軸是 $\hat{j}$ 的存在，而過去的 [2, 3] 實際上是 $2 * \hat{i} + 3 * \hat{j}$。這樣的抽象關係，帶給向量很彈性的轉換觀點。我們只要改變 $\hat{i}$ 跟 $\hat{j}$ 的形狀，就可以改變原先在最普通 2×1 單位 x 方向 + 3×1 單位 y 方向的直線看起來的模樣。

如果用一個視覺化的方式來想像， $\hat{i}$ 跟 $\hat{j}$ 的變化就像是網格系統發生形變，形變可以像是地球儀投影一般的曲線，但從最簡單的線性變換來說，應該要保持原點不變且網格保持直線跟間格均等。

所以今天向量間的乘法是什麼？是座標系統的形變 $\hat{i}$ 跟 $\hat{j}$ 各自從 [1,0] [0,1] 是原本的垂直的座標軸轉向新的向量，有 [a,c] 的 $\hat{i}$ 與 [b,d] 的 $\hat{j}$。所以今天有一個向量 [x,y] 他要有 [a,c] 的 $\hat{i}$ 與 [b,d] 的 $\hat{j}$ 就會發生 x[a, c] + y[b, d] 進一步再縮寫如下：

$$
\begin{bmatrix} x \ y\end{bmatrix} \begin{bmatrix} a & b \ c & d\end{bmatrix} = \begin{bmatrix} ax + by \ cx +dy \end{bmatrix}
$$

LLM 與向量的關係

TBC