一、 今天的心情與學習目標
自主學習計畫來到第六天,每天都有新的驚喜。昨天我們成功把文章切塊並且變成了好幾百
個數字組成的陣列,今天的任務就是要幫這些數字找一個家,也就是學習使用向量資料庫。
今天的目標是把昨天轉換好的資料建立索引存進去,並且親自體驗看看什麼叫做用語意來檢
索文章。
二、 向量資料庫實戰與索引建立
早上我開始研究這個專門用來存數字陣列的工具。這跟我大一計算機概論課學到的傳統資料
庫完全不一樣。以前學的資料庫就像是圖書館的目錄系統,要輸入完全一模一樣的字才找得
到東西。但今天學的這個向量資料庫,它是利用一種特殊的數學公式,在一個超級多維度的
空間裡面建立索引並尋找距離最近的點,也就是尋找意思最相近的句子。
三、 語意檢索的神奇體驗
下午我實際把幾篇短文存進資料庫裡進行測試。我故意在搜尋框輸入蘋果這個詞,結果系統
不僅把包含蘋果這兩個字的文章找出來,竟然連提到香蕉還有西瓜的段落也一起列了出來。
因為在電腦轉換過後的數學空間裡,它知道這些東西都屬於水果類別,所以把它們歸類在相
近的位置。這種不用字面完全符合就能懂我意思的搜尋方式,真的讓我大開眼界。
四、 今天遇到的困難與心得
今天在把資料寫入資料庫的時候,程式一直閃退跳出錯誤。我檢查了很久才發現,原來是我
輸入的數字陣列長度跟資料庫設定的維度大小不一樣。這就像是拿著圓形的積木硬要塞進方
形的洞裡一樣,系統當然會崩潰。這讓我體會到,在處理龐大的資料時,規格的一致性真的
是最基本但也最容易出錯的地方。
五、 明天的計畫與期許
今天的語意搜尋體驗真的非常神奇,但也發現一個小缺點,就是如果我要找特定的專有名詞
,它有時候會因為意思太接近而給我其他看似相關但其實不是我要的答案。所以明天的計畫
是要學習混合檢索技術,把傳統關鍵字和語意搜尋結合起來,讓系統找資料變得更聰明更精
準。期待明天的實作也能順利過關。