昨天在Dify上已經初步認識了各個頁面的功能,但如果實際嘗試的話,會發現還是沒辦法建立一個RAG聊天機器人,關鍵在於,我們還沒給定Dify可以用的模型阿,因此,我們今天要把聊天機器人的大腦設定起來,讓Dify可以用到指定的模型。
在右上角帳號名稱中,點擊setting進入設定頁面:
點擊Model Provider進入模型設定頁面:
Dify支援許多模型,其中包含一些常見的主流模型,例如ChatGPT背後的OpenAI,在這裡就可以選擇OpenAI,並輸入API Key,連接後就可以直接使用:
大家可以任意使用自己需要的模型,但秉持著我們系列文不使用付費服務的精神,接下來我們要使用Ollama這個開源的模型控管服務,來連接同樣開源的LLM模型-llama3以及Embedding模型-mxbai-embed-large,這樣我們的聊天機器人就可以有能說人話的大腦和提升檢索效果的文字轉向量功能。
a. Model Provider頁面中選擇Ollama:
b. 輸入LLM模型-llama3的相關資料,完成後點擊save儲存:
c. 都設定正確的話會看到已經成功使用Ollama連接llama3這個LLM模型,接著點擊Add Model,再接續新增Embedding模型:
d. 選擇Text Embedding,輸入Embedding模型-mxbai-embed-large的相關資料,完成後點擊save儲存:
e. 如果都設定正確,就可以看到我們的Dify,已經利用Ollama有了兩個可以用的模型了,成功完成模型設定:
今天介紹了Dify的模型設定方式,大家可以使用自己喜歡的模型來玩玩看,但如果沒有模型也沒關係,明天就會來跟大家分享,怎麼在地端利用Ollama簡單把模型變成可用的服務。
Dify(github)
https://github.com/langgenius/dify/tree/main
Dify(官方文件)
https://docs.dify.ai/getting-started/install-self-hosted/local-source-code
Adobe Firefly(AI圖片生成)
https://www.adobe.com/products/firefly.html
今年沒有彈性補假,把國慶假日變成連假,但做3休1,再做1休2感覺也是挺不錯的,可以再最後的幾天鐵人賽,多玩一點Dify再跟大家分享筆者自己遇到的坑,因為一開始打開來用,可是沒有LLM和Embedding Model,讓我們一起完成這個聊天機器人的最後設定吧。