Vector Database比較
想要實作RAG前,必須先選個Vector DB 來儲存你embedding的資料囉,下面這些筆者選了幾款常見的來做介紹,最後...
前言
今天我們來用「HTTP 請求」節點,來做一個可以給我們狗狗 or 貓貓的機器人,由於這兩種問題 (dog or cat) 很類似,可以用「聚合器」來簡化流...
摘要這篇文章旨在引導讀者學習如何利用 FastAPI 建構高效的後端服務,使用 Streamlit 打造互動式前端介面,並透過 LangServe 將 Lan...
🚀 vLLM介紹
vLLM是一個速度快、靈活又簡單好用的推理加速框架,主打使用PagedAttention管理kv cache,Model Paralleliz...
前言
昨天的教學中,已經學會設定基本的OpenAI-Compatible Server方法了。
簡單回顧一下,若是什麼也沒設定,預設會是使用一個GPU。 🎮
筆...
有了模型之後再來就是使用介面了。現在有很多快速提供介面的服務像 ChatOllama、OpenGPTs 和 HuggingChat 等等,不過為了快速體驗整個...