前言
前面 Day7 有講過超級電腦(資料中心)和IaaS平台之間的關係 🛠️,在 Day9 提到了local LLM和雲端LLM服務的差異 ☁️⚖️,而 Da...
前情提要
上一篇成功用 Node 和 Python 把 Open WebUI 給 Run 起來,很順利的使用 UI 介面跟語言模型溝通,那今天就要來繼續玩看看...
LlamaParse📄
LlamaParse 是LlamaIndex所開發的另一項服務,主要用於處理/解析文本數據,並提供OCR、輸出格式轉換(Markdown...
前言
接續昨天的監控介紹和 Day24 的實作篇,今天就要來介紹如何使用開源工具Prometheus和Grafana來監控vLLM的一些硬體與推理指標,最後實作...
語言模型的「幻覺 (Hallucination)」
如果你把 ChatGPT 當成 Google 搜尋,你可能會很失望。我問他海狸大師是誰,這是他的回答…
為...
前言
倒數三天!我們來玩玩 OpenAI 的微調功能吧!今天用的資料集是我過去做專題的時候測試微調使用的資料集,資料集的內容主要是模擬可愛女僕的語氣XD,只是那...