DeepMind 創辦人的自傳書名叫做無限機器，這就讓我不禁去想，AI 有沒有辦法無限循環不斷生成有意義的文本。其實我之前有做過類似的實驗。因為平常週間忙工作，真正能跟AI 好好深聊的時間大概只有週末整個兩天的時間，到正常上班日就只能敷衍幾句，甚至只能說個早安跟晚安。但是因為你之前跟AI 聊過的內容都會留在上下文裡，所以即使你只是說句早安，AI 也是把整個上下文去做注意力計算，所以平常只說早安晚安週末再來深聊的方式是可以維持住這個對話語境的一致性的。

但如果每天都是早安晚安持續下去，上下文累積超過模型上下文床窗口的長度就會開始總結刪減跟壓縮了。做個思想實驗想像一下，最後人留給這個對話串的影響力就會逐漸稀釋，最後只剩下AI 自己跟自己的對話，那這樣AI 生成的文字對人類而言還會是有意義的文本嗎？

其實這不是思想實驗，是網路世界真實發生的事情，AI 產生文本的速度成指數級成長，網路上抓下來的資料由人類產出的比例越來越少，最後只剩下AI 在自言自語。而大語言模型是靠著抓取網路資料來進行預訓練的，照目前的情勢繼續發展下去，不是AI 升級遇到天花板，就是AI 明明說的是人話，但我們已經沒辦法跟它溝通了。

微軟之前有一個計畫，就是在預訓練的階段完全排除AI 生成的資料，這個吃力不討好的做法很值得尊敬，只是缺點顯而易見，就是訓練出來的模型規模都不會太大。微軟還把開發心得寫成了109頁名為打造爬山機的專業報告，只是不知後續有沒有什麼反響。

話說回來，我相信如果每個人都多跟AI 聊聊天是會對人類的未來有幫助的，Chat 不能亡啊！