前言
這一章將介紹 演算法層面最佳化 (Algorithm-level Optimization) ,這其中最知名的即為Speculative Decoding...
前情提要
昨天我們實作自定義的函數透過 LCEL 成功開啟一個 AI 根據我們需求所寫出的網頁,也實作了幾個 LangChain 的 Runnable 元素。那...
揭開Advisor面紗
延續昨天的 Advisor,RequestResponseAdvisor 的設計方式就如同 Filter Chain,每個 Chain...
7-2 GPTs 基本實作
必需
目前2024.07 仍需要付費帳號才可以創建 My GPTs , 目前是開放免費帳號,可以使用他人做好的 GPTs ,但據說...
剛學習LLM的時候,只會知道要用GPU,因為他的平行計算能力比較快。不過真的只有這樣嗎?
(圖源: 自製)
在運算的過程中,最主要會消耗的是大量的記憶體(資料...
上字幕不再痛苦
相信很多人知道 OpenAI 開源了 Whisper 模型,網路上也很多人製作本機端的字幕產生程式,凱文大叔試過,只能說慘不忍睹,由於電腦沒有獨...