今天來到鐵人賽的第九天,不免俗也要來複習前面幾天所學習到的新東西。
通整一下 Day 2 ~ Day 4 所學,介紹了在整個系統中非常要的元素 LLM 以及 RAG 技術,有了這些基礎,我們才能鑽研更深的技術,不知道大家在熟悉 LLM 前,聽過哪些本地小模型呢?
不只 LLM 在迭代更新,其實連 RAG 技術,直到最近都有人在鑽研如何讓 RAG 的表現更好,由於使用本地模型 + RAG 有一個缺陷,就是在資料量大的時候,如何提取出相對正確的資料,且也要考慮 LLM 的吞吐量,這時出現了mem0這項專案,聽說可以提高對文件搜尋的準確度,這部份我是沒有使用過,所以也不能確定www
而在 Day 5 的時候,我們簡單介紹了 Docker 的用法,感覺這部份也有很多可以玩的地方,如 docker-compose 等等的,或許對未來的幾天,能提高我們專案的便攜性也說不定,能不能成功跑起來都是個變數呢。
最後在 Day 6 ~ Day 8 時,我們介紹了不同向量資料庫的使用方式(雖然 sqlite 不算),自己在玩不同向量資料庫時,最有興趣的,應該是 Qdrant 了吧,且與先前提到的mem0底層也是用 Qdrant 去撰寫,感覺這幾個工具的表現都不錯,但 milvus 比較麻煩的是,向量要自己轉換,但官方文件寫的這麼漂亮,搞不好也是極具潛力的一個選擇呢。