每天的專案會同步到 GitLab 上,可以前往 GitLab 查看,有興趣的朋友歡迎留言 or 來信討論,我的信箱是 nickchen1998@gmail.co...
前言
在進入 AI 與 LLM 這片充滿無限可能的領域前,選對工具是學習路上的第一步。Python 作為世界上最受歡迎的程式語言之一,不僅擁有簡單易學的語法,還...
LlamaParse📄
LlamaParse 是LlamaIndex所開發的另一項服務,主要用於處理/解析文本數據,並提供OCR、輸出格式轉換(Markdown...
語言模型的「幻覺 (Hallucination)」
如果你把 ChatGPT 當成 Google 搜尋,你可能會很失望。我問他海狸大師是誰,這是他的回答…
為...
前言
先前在 Day10 講過了針對計算資源的分散式架構Ray ⚙️,也在 Day26 提到多個server組成cluster的概念 🌐,在這些clusters...
前言
接續昨天的監控介紹和 Day24 的實作篇,今天就要來介紹如何使用開源工具Prometheus和Grafana來監控vLLM的一些硬體與推理指標,最後實作...