上一篇提到 Token 就像 AI 閱讀文字時的計量單位，而中文有時會比英文消耗更多 Token。這也代表同一個 Context Window，中文對話可能更快把「行李箱」塞滿。

Context Window 就像 AI 的登機行李額度：對話紀錄、文件、指令與問題，全都裝在同一只箱子。容量越大，能帶的資料越多，但裝得下，不代表找得到。

想像你只想找護照，箱子裡卻塞滿衣服、書、充電線和收據。護照沒有消失，只是被埋住了。LLM 也類似：上下文越長，越需要從大量 Token 中判斷哪些資訊重要。

Liu 等人的 Lost in the Middle 研究發現，關鍵資訊放在長文本的開頭或結尾時，模型通常表現較好，藏在中間則可能下降。新一代模型已有改善，但長上下文中的資訊仍不一定被均勻利用。

所以整理 Context 有兩件事要注意。

位置有講究：重要規則放開頭，問題放在長文件之後，別把關鍵要求埋在中間。

份量也要控制：舊對話適時摘要，無關資訊直接拿掉。

Context Window 變大，只是行李箱變大；東西好不好找，還是看你怎麼擺。

延伸閱讀

Liu et al., Lost in the Middle: How Language Models Use Long Contexts, TACL, 2024（arXiv:2307.03172）。