week 1 是 亞歷珊卓主講, 看了一個禮拜, 一次又一次反覆的看著, 聽者俄式英文加上不僅神似 NPH (Neil Patrick Harris in how i met your mother), 連動作, 表情, 手勢都讓我不禁聯想他們是否為親戚. 總之我很高興第二週換迪米崔, 是有點像羅斯(Friends/六人行影集的nerd)啦, 期待下一週不要像第一週這麼慌亂, 有幾天是在神智不清下完成的, 要再等有空時來慢慢修正. 因為...開學了.....言歸正傳, 今天是 text, image 的資料處理 part 2, Word2Vec 一樣是把文字變向量, 但是 pretrain model 的特性讓功能更強大, 對了文字還是 focus 在英文, 因為主流競賽是以英文為主, 圖像會談到一點 CNN.

Word2vec / w2v

詞嵌入 embeded, w2v 跟 BO W一樣是文字轉向量, 但是 w2v 是 nearby words, 且向量間可以加減運算關係後得出正確詞語. 例如常見的 king + woman - man = queen

截圖自coursera

針對字詞, 句子的 pretrained models

Words : Word2Vec, Glove, FastText, etc
Sentence : Doc2vec, etc

比較 BOW 跟 w2v

Image -> Vector

CNN (convolutiontional neural network)

1. Descriptors /描述
2. 從 scratch 訓練 model
3. finetuning : 在 VGG-16 之後以 2016 data science 競賽為例, Keras, PyTorch, Caffe 有常用的圖像辨識 library 直接使用.

VGG-16 架構

截圖自coursera

Finetuning example, 擴增 (image augmentation)

• 加上 角度轉 180度的照片, 訓練樣本數增加一倍
• 再加上 角度轉 90度的照片變成第二個 class. 依此類推可增加到 3倍, 4倍的訓練樣本數.

[原始圖檔]

[原始＋擴增圖檔]

截圖自coursera

文字特徵提取, 圖像特徵提取

Text

1. 預處理

Lowercase, stemming, lemmarization, stopwords

2. 詞袋 / Bag of words

大向量
Ngram 可以用在本地文檔
TFiDF 可用在預處理階段

3. Word2Vec

相對小向量
pretrained models

Images

1. 特徵提取可依照不同 layers

2. 仔細挑選 pretrained models

3. pretrained models 也可 finetuning

4. 資料擴增可以改善 model