上一篇我們一起看了聊天機器人的文檔餵食秀,今天要來科普兩個聊天機器人相關的專有名詞,RAG和LLM,這兩個縮寫就在我們系列文的主標題中,但到現在還沒好好跟大家解釋它們。希望大家看完今天的文章之後,能一起當很懂聊天機器人關鍵字的內行人。
談RAG之前,先說LLM吧。大型語言模型(large language model, LLM),就是聊天機器人能說"人話"的關鍵之處。當我們提供很多說話的相關資訊,訓練出一個大型語言模型,此時這個模型可以依據他先前看過的範例,透過模仿的方式,學習出他自己一套說話模式。就好比是做料理,當新手小白初次下廚時,有一本食譜當作他的武林秘笈,他可以透過學習食譜,依樣畫葫蘆,做出類似,但又保有自己獨特風味的料理。但要注意的是,模型在訓練的時候,當時提供的訓練資料已經奠定他能參考的知識範圍,所以他很難回答出超過自己認知以外的事物。就像你給一個人中餐食譜,但卻要求他做出法式甜點,結果有很大的可能會不如預期。
檢索增強生成(Retrieval-Augmented Generation, RAG),是基於大型語言模型的文字生成能力,再結合搜尋檢索的功能,讓產出的文字內容,不再局限於訓練模型當下提供的資料,可以說是一種LLM的延伸應用與結果優化。有了RAG的搜尋架構的LLM彷彿如虎添翼。這個時候的聊天機器人,已經不只有LLM模型訓練當下的食譜了,如果他需要,我們後續可以在任何時刻,提供他更多各式各樣的食譜,當他需要的時候,只要往書櫃裡一翻,找出需要的內容,此時,就算是原本沒吃過的異國料理,也難不倒他。
下一篇要和大家繼續科普,介紹向量資料庫是怎麼回事。
工作滿滿的一天,成功當日內發文!大家這幾篇還讀得習慣嗎,歡迎留言回饋,提供調整方向!