終於進到尾聲啦，讓我們直接切入正題吧!

Anything LLM

Anything LLM 是一個專注於部署和管理大型語言模型的平台。它的設計具備靈活性和可擴展性，支援從雲端服務到本地環境的多種部署場景。Anything LLM 提供了模型版本控制、擴展和監控的工具，確保已部署的模型能夠穩定且高效地運行。這個平台針對需要將 LLM 整合到現有基礎設施中的企業和開發者，提供強大的 API 和管理工具，以簡化整個流程。

• 官方文件: https://github.com/Mintplex-Labs/anything-llm/tree/master

部署流程:

1. 下載image

docker pull mintplexlabs/anythingllm

2. 直接運行container 不自定義路徑

docker run -d -p 3001:3001 \
--cap-add SYS_ADMIN \
mintplexlabs/anythingllm

3. 進入 Azure Portal 的Networking setting的Inbound rule允許3001 port 來訪問

4. 開放 server firewall的 3001 port

sudo ufw allow 3001

• 進入該container 看有無異常錯誤

docker exec -it b14b115b5d59 /bin/bash

curl http://localhost:3001

正常response

5. 即可正常開啟瀏覽器: http://xx.xxx.xxx.xxx:3001/
   

內部設定

1. 點擊setting 中的Agent Cinfiguration

點選下方Configure Agent Skills 可跳轉到新頁面去設定更多功能

提供許多Agent相關設定，也可實作出RAG

2. 提供AI API 設定

• 提供多種LLM
  
  

• 提供多種Vector DB
  

• 提供多種Embedding model
  

3. 提供Agent功能設定
   

• 記錄各個query的log
  

以上就是Anything LLM的介紹，不妨可以先用它來實現簡易的RAG

完賽心得

終於結束了!其實還有很多內容沒有講到
原本以為30天會很漫長，但後來發現似乎不太夠
所以只好免強塞一個在Day30哈哈哈哈
感謝願意追蹤我的讀者們，我還有很多可以分享哦
因為平常就習慣會整理一些技術相關文件
但主要都以自己看得懂為主，PO出來也沒有再特別檢查甚麼
所以很怕會有人覺得敘述不連貫
因為有點忙 所以一次就整理好多天份XD
之後我有空時會再回去看看寫過的文章，再好好地修改哈哈哈哈
我是剛要升碩一的忙碌研究生 (每周五天實習+每周Lab作業 兩頭燒阿哈哈哈哈)
很謝謝願意看的讀者們
很歡迎私下交流:)