最後幾天了，我想學自己有興趣的部分，所以今天來認識word2vec。

基本簡介
Word2vec是一群用來產生詞向量的相關模型，這些模型為淺層雙層的神經網路，用來訓練以重新建構語言學之詞文本。網路以詞表現，並且需猜測相鄰位置的輸入詞，在word2vec中詞袋模型假設下，詞的順序是不重要的。且訓練完成之後，word2vec模型可以把每個詞映射到一個向量，來表示詞與詞之間的關係，而該向量為神經網路的隱藏層。

它主要有兩種訓練方法：

1.CBOW（Continuous Bag of Words）：

• 原理：CBOW 模型根據上下文中的詞來預測一個目標詞，它使用上下文的所有詞作為輸入，並試圖推斷出中心詞。
• 示例：在句子 "我 喜歡 吃 蘋果" 中，若 "吃" 是中心詞，CBOW 會使用 "我" 和 "喜歡" 來預測 "吃"。
• 優點：適合處理大量的上下文信息，尤其在訓練時上下文較長的情況下表現良好。
  2.Skip-Gram：
• 原理：Skip-Gram 模型則是反向運作，利用一個目標詞來預測其上下文中的其他詞。它的目標是最大化在給定目標詞的情況下，正確預測上下文詞的機率。
• 示例：在同樣的句子中，若 "吃" 是目標詞，Skip-Gram 會使用 "吃" 來預測 "我" 和 "喜歡"。
• 優點：特別適合處理稀疏數據，能更好地捕捉細微的語義變化。

訓練過程:
1.語料準備：選擇一個大規模的文本語料，通常越多越好，以便捕捉豐富的語義信息。
2.預處理：清洗文本（去除標點、轉小寫、去除停用詞等），然後將其分詞。
3.模型選擇：選擇使用 CBOW 或 Skip-Gram 進行訓練。
4.訓練：使用反向傳播等方法對模型進行訓練，更新詞向量。