什麼是嵌入(Embedding)?

計算機只能處理數字，不能直接理解"你"、"貓"、"手機"的含意。
遷入的思路是：把每個詞或句子轉化成一串數字(就是所謂"向量"，ex.[0.4,-0.9,0.1..])，並且讓語意相近的內容轉化出來的數字也"相近"。

這些向量所在的數學空間稱為"向量空間"，可以把它想像成一張高維地圖，每個詞或句子都是其中一個點，語意越接近的內容彼此就越靠近，如同台北與台中在地圖上的位置反映它們的地理相關性。經典例子是："國王"-"男性"+"女性"="女王"，說明向量運算可以捕捉到語意關係。
"稠密"是相對於後面將介紹的"稀疏嵌入"而言：稠密向量的每個維度都有數值，稀疏向量大部分維度為0。

稠密嵌入用深度學習把文本映射到向量空間 -- 語意相近的內容，向量距離也近。衡量兩個向量有多"近"的常見方式是餘弦相似度它計算兩個向量空間夾角的餘弦值，值越接近1表示方向越一致、語意越相似。
早期方案(word2vec)只能捕捉詞彙共現關係; 上下文感知模型(BERT、BGE-M3)能理解上下文，同一個詞在不同語境下有不同的向量表示(BGE-M3實際同時輸出稠密、稀疏、多向量3種表示、這裡僅用它的稠密輸出當作例子)

為甚麼用夾角而不是距離?
因為我們關心的是兩個向量的方向是否一致(語意是否相近)，而不是它們的長度(文本的長度或頻率)。兩篇內容相同但長度不同的文檔，向量長度不同但方向一致，餘弦相似度能正確判斷它們的語意相同

此外，Embedding 所處的向量空間通常不是我們熟悉的二維或三維空間，而是數百甚至數千維的高維空間。在高維空間中，直接使用歐氏距離有時容易受到向量長度影響；而餘弦相似度只關注向量方向，因此更適合衡量語意相似度。

直覺上可以這樣理解：兩段語意相近的文本，對應的向量"夾角越小越相似" --養貓相關的兩個表達在向量空間中幾乎重合(餘弦直接近1)，而養貓和股票投資則方向迥異(餘弦向量值接近0)。實際的嵌入模型使用768維或是更高維度的向量，但判斷"是否相似"的原理完全相同。

從Word2Vec到上下文感知

在稠密嵌入早期，以word2vec為代表的技術通過分析海量文本中詞彙的共現關係，為每個詞生成一個固定向量。這種向量能捕捉有趣的語言規律，ex.向量運算"king" - "man" + "woman" = "queen"，證明詞向量空間能以線性可計算的方式編碼複雜語言關係。

然而，靜態詞向量存在根本侷限：無法處理一詞多義。
"bank"在"riverbank"與"investment bank"中含意截然不同，但word2vec賦予完全相同的向量。現代嵌入模型(ex.BERT、BGE-M3)能在生成一個詞的向量時充分考慮其所在的整個句子甚至段落上下文。

這得益於自注意力機制(self-attention)--模型在計算每個詞向量時，會同時參考句中所有其他詞的訊息。因此，同一個詞"蘋果"在"蘋果公司發布會"與"吃一顆蘋果"中會得到不同的向量表示。這意味著同一個詞在不同語境下會擁有不同的、更精確的向量表示。實現從"詞彙級"到"語境級"的跳躍; 此外，BGE-M3等新一代模型還進一步支持長文本輸入(BERT這類早期上下文模型的輸入上限僅為512個Token，不適合長文本)。

GitHub: https://github.com/blader/humanizer
Humanizer 是一個agent skill（以 Markdown 編寫），可以將 AI 風格的文本重寫得自然流暢，而不改變其含義。它應用來自維基百科「AI 寫作的跡象」的 35 個模式，用來捕捉浮誇聲明、過度使用的詞彙、銷售語言、被動語態、聊天機器人痕跡和填充詞。它可以從樣本中匹配寫作風格，並可用於任何支持技能的代理