技術 Day 07｜Context Window 為什麼會爆？Token Limit 的真相

昨天我們替 Memora 加入了 Conversation History。每一輪的 User Message 和 Assistant Message 都會被保...

技術 Day 10｜Short-term Memory 完成：打造 Stateful Chatbot

昨天我們替 Memora 加上 Conversation Summary。當較舊的訊息離開 Sliding Window 時，程式不再直接丟掉它們，而是把重要內...

技術 Day 06｜Conversation History 是什麼？讓 AI 接得上前一句

昨天我們已經找到了 Memora 接不上前一句的原因。問題不是 LLM 把資訊忘掉了，而是我們每次呼叫 API 時，只送出當下的 user_input，沒有把先...

技術 Day 09｜AI 也要做筆記：用 Summarization 壓縮對話

昨天我們替 Memora 加入了 Sliding Window，只把最近幾輪 Message 放進 Context。 這讓每次 Request 不再隨著完整 C...

技術 Day 08｜Token 太多怎麼辦？Sliding Window 與 Context Management

昨天我們替 Memora 加入了 Token Usage 的觀察功能，也發現 Conversation History 不能永遠全部放進 Context。 目前...