作者學習LLM infra的日記,預計會涵蓋各種LLM inference, data, RL 相關開源專案的探索。
平常在看 vLLM、SGLang、PagedAttention、speculative decoding,或是一些 CUDA kernel 的時候,常常會有一種...