它快取的不是 Prompt 文字
假設兩條 requests 是:
Request A = [system prompt][shared document][q...
寫資料庫引擎之前,網路層得先站穩。Redis 之所以快,底層事件模型佔了很大一部分;我雖然不用在 Go 裡手刻 epoll,但還是得先做出一個可以同時處理多個...
《Day 03:第一個 suspend function,協程到底暫停了什麼》結尾留下一個疑問:一個函式暫停了,那一整串呼叫呢。今天先不回答這個疑問,而是往回看...
昨天結尾說今天要談框架該替使用者決定哪些事。
框架與函式庫的差別常被說成「你呼叫函式庫,框架呼叫你」。這句話描述的是機制,不是代價。真正的代價是控制權反轉之後...
論文裡餵給模型的特徵有 133 個,分五類:股價技術指標、成交量指標、基本面指標、風險指標、月營收指標。133 這個數字聽起來很厚實,拆開看是這樣:
技術指標...
Day 15:併發限制,用 Semaphore 保護下游別被打爆 結尾留下一個問題:Semaphore 確實能保護下游資源不被瞬間打爆,但如果同時湧入的請求量遠...