從事 iOS 開發多年,近年開始投入 Android 與 Kotlin 開發。希望藉由這次 iThome 鐵人賽,把自己從 iOS 轉向 Android 的學習...
平常在看 vLLM、SGLang、PagedAttention、speculative decoding,或是一些 CUDA kernel 的時候,常常會有一種...
先來回答昨天讀者的問題
昨天有讀者問:
規劃和執行兩階段,是先規劃後執行嗎?還是獨立的兩塊?
答案是:
先規劃,後執行。
兩者不是獨立的兩條流程,而是同一...
如果每個服務都自己接 ERP SOAP,就要各自處理 WSDL client、欄位轉換、認證與錯誤。服務多了以後,同一套介接工作也會重複出現。我想把這些事情集中...
前兩天先學硬體和基本 RVV intrinsic,今天開始看要怎麼接進真實推論服務系統 SGLang。今天先看懂一個 RVV attention 後端在 SGL...
昨天結尾說今天要談框架該替使用者決定哪些事。
框架與函式庫的差別常被說成「你呼叫函式庫,框架呼叫你」。這句話描述的是機制,不是代價。真正的代價是控制權反轉之後...