句向量的特徵抽取

句向量Sentence Embedding:以句子為單位，以固定維數的向量來訓練學習與表示。

1. 詞袋模式(BOW)家族

• TF-IDF模型維其代表，用它的計算來表達在一個句子的向量中，哪個詞的權重較高，而這些權重的加權總和為這個句子的意義與特徵。
• 簡單容易使用
• 具備BOW演算法先天缺點

2. 詞向量模式

• 以詞向量Word Vectors為基礎，包含Word2 Vector,GloVe
• 透過各種不同的轉換與加權平均來整成句向量。
• ①簡單平均值模式:句子中所有詞向量加總求和平均 ②TF-IDF模式:句子內的詞向量加權求和

3. 句向量模式Sentence to Vector

• 已句為單位，直接來學習訓練及抽取整個句子的向量。
• ①Skip-gram Model:預測其上下句子，求取句子的向量。 ②CBOW Model:把單位由詞轉變成句子。

4. 語言模型

• 例如BERT，利用上下句彼此之間的共現關係大小來學習句向量。

NLP主要演算模式

NLP使用以下演算法來對詞向量進行各種NLP的任務。

編碼器與解碼器模式

1. 序列對序列的模式Sequence to Sequence Model，簡稱Seq2Seq

• 一種系統架構強調由輸入的序列性資料Input Sequence，產生出長度不固定的輸出序列Output Sequence。
• 其輸出長度不受限

2. 編碼器與解碼器模式Encoder-decoder Model/Autoencoder，簡稱ED Model

• 一種序列對序列架構模式擁有一組編碼器、隱藏層與解碼器。
• Encoder:把輸入的訊息，透過深度學習最擅長的特徵抽取將其壓縮成一段固定的特徵向量為背景向量Context Vector。
• Decoder:參考背景向量內的特徵訊息，接著一個字一個字的產生輸出地的句子，參考前面出現的字語Contexxt Vector內隱藏的向量特徵，來推理下個字。
• 不論輸入的X與輸出Y長度如何，中間的隱藏特徵稱之為背景向量Context Vector都是固定的。
• 根據不同任務可以選擇不同的Encoder演算法與Decoder演算法，包含各種RNN、LSTM、GRU
• 缺點:①Context Vector長度固定:損失非常多的訓練。 ②只有一個CV無法平行處理:傳統ED Model只能產生一個CV，輸出是屬於一個接著一個序列型Sequential的處理，較沒有效率。

參考來源:人工智慧:概念應用與管理 林東清