iT邦幫忙

第 12 屆 iThome 鐵人賽
DAY 5
0
自我挑戰組

資訊爆炸時代學資訊檢索與擷取系列 第 5 篇

Day05:向量空間模型(Vector Space Model)

12th鐵人賽 向量空間模型 資訊檢索與擷取
3840 瀏覽

  • 分享至 

  • xImage
    •  

在向量空間模型(Vector Space Model)中queries被表示成向量(Vector)形式，在同樣的向量空間中document也被表示成向量(Vector)形式。換句話說就是，queries和document都表示成向量，而其中權重(weight)為TF-IDF，如下圖
https://ithelp.ithome.com.tw/upload/images/20200904/20110042oDFId0NL0X.png
在昨天有提到關於TF-IDF公式表示若應用到表示queries和document權重，如下表:
https://ithelp.ithome.com.tw/upload/images/20200904/20110042v1BQWT15PZ.png
我會比較喜歡用公式3表示queries和document權重(TF-IDF)

計算好queries和document的向量表示後就可以算兩者之間cosine similarity
https://ithelp.ithome.com.tw/upload/images/20200904/201100429VINcdd3FV.png
其中https://chart.googleapis.com/chart?cht=tx&chl=%5CTheta小，cos大;https://chart.googleapis.com/chart?cht=tx&chl=%5CTheta大，cos小。
0<coshttps://chart.googleapis.com/chart?cht=tx&amp;chl=%5CTheta<1

分析

  • 優點:
  1. 可以計算分數所以可以排序
  2. 允許局部匹配
  3. 文檔和查詢之間的相似度取值是連續的
  • 缺點:
    無法解決"同義詞"的問題

上一篇
Day04:TF-IDF演算法
下一篇
Day06:最佳匹配模型(Best Match Model)
系列文
資訊爆炸時代學資訊檢索與擷取 共 8 篇
  1. 4
    Day04:TF-IDF演算法
  2. 5
    Day05:向量空間模型(Vector Space Model)
  3. 6
    Day06:最佳匹配模型(Best Match Model)
  4. 7
    Day07:語言模型(Language Models)
  5. 8
    Day08: Query Likelihood Measure
完整目錄
圖片
  直播研討會
圖片
{{ item.channelVendor }} {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言
iThome鐵人賽
參賽組數
1064 組
團體組數
40 組
累計文章數
22195 篇
完賽人數
600 人
iT+看影片追技術 看影片追技術 看更多
熱門tag 看更多
15th鐵人賽 16th鐵人賽 13th鐵人賽 14th鐵人賽 12th鐵人賽 11th鐵人賽 鐵人賽 2019鐵人賽 javascript 2018鐵人賽 python 2017鐵人賽 windows php c# windows server linux css react vue.js
熱門問題
熱門回答
熱門文章
IT邦幫忙