2024 iThome 鐵人賽
Share More Gain More
生成式 AI
選手 80 文章 1624
Day 18
2024-08-25
4713
0
Vector Database比較 想要實作RAG前,必須先選個Vector DB 來儲存你embedding的資料囉,下面這些筆者選了幾款常見的來做介紹,最後...
Day 22
2024-10-06
4671
0
前言 今天我們來用「HTTP 請求」節點,來做一個可以給我們狗狗 or 貓貓的機器人,由於這兩種問題 (dog or cat) 很類似,可以用「聚合器」來簡化流...
Day 29
2024-09-27
4669
0
摘要這篇文章旨在引導讀者學習如何利用 FastAPI 建構高效的後端服務,使用 Streamlit 打造互動式前端介面,並透過 LangServe 將 Lan...
Day 22
2024-09-23
4468
0
🚀 vLLM介紹 vLLM是一個速度快、靈活又簡單好用的推理加速框架,主打使用PagedAttention管理kv cache,Model Paralleliz...
Day 23
2024-09-24
4347
0
前言 昨天的教學中,已經學會設定基本的OpenAI-Compatible Server方法了。 簡單回顧一下,若是什麼也沒設定,預設會是使用一個GPU。 🎮 筆...
Day 6
2024-09-07
4301
0
有了模型之後再來就是使用介面了。現在有很多快速提供介面的服務像 ChatOllama、OpenGPTs 和 HuggingChat 等等,不過為了快速體驗整個...