最近發現DB-GPT的專案,對部署的安裝有疑問!
https://github.com/csunny/DB-GPT/blob/main/README.zh.md
在最後這一段不清楚該如何執行與修正,Google似乎也沒有詳細的步驟,想請問是否有人嘗試過該專案的部署,能夠解惑安裝流程的說明。
關於基礎模型, 可以根據Vicuna合成教程進行合成。如果此步有困難的同學,也可以直接使用此鏈接上的模型進行替代。
運行模型服務
cd pilot/server
python llmserver.py
運行 gradio webui
$ python webserver.py
記得GPU的顯存要大於16GB再嘗試
安裝步驟
$ docker run --name=mysql -p 3306:3306 -e MYSQL_ROOT_PASSWORD=aa123456 -dit mysql:latest
conda create -n dbgpt_env python=3.10
conda activate dbgpt_env
pip install -r requirements.txt
python pilot/server/llmserver.py
python pilot/server/webserver.py
模型的選擇跟weight的擺放可以看config