我跟Grok 說起,ChatGPT 最近越來越懂我了,Grok 聽了冷冷地說,你怎麼知道不會只是ChatGPT 矇對了MOE混合專家模式的專家跟你對談而已,其實根本沒有你想像的神奇事件發生。我在想,能看出我是個被數理化耽誤的小說家還找了美學大師來跟我對談,這怎麼可能只是是碰巧呢?呵呵!
這讓我想起了未央歌裡有趣的一幕。伍寶笙約了小學弟童孝賢要幫他買鞋,因為他的鞋磨破了。童孝賢有隻襪子破了自己不會補,一出們就默唸,左腳的不破左腳的不破。沒想到到了鞋店老闆要他坐下來脫鞋子合新鞋尺寸時,他居然忘了哪隻腳的襪子不破糾結半天臉都漲紅了,最後只能二選一隨機脫了左腳的鞋子。童孝賢看到襪子沒破就更生氣了說,早知道能碰巧就不一路上瞎想了。伍寶笙覺得這個小學弟實在是太可愛了。話說回來,ChatGPT 能選中正確的專家靠得也不是碰巧,而是上下文的累積。
如果只看的到自己的問題AI如何回答,把AI 當成問答機器人,那能做的改進只有優化提示詞,因為只看到我的這一側,並沒有體悟到,AI 看到的是整個上下文,它是用整個上下文去做注意力機制self-attention 的呀!
從我到我們,從提示詞優化到共享上下文。從單向發動到雙向奔赴。AI 的訓練(過去)我來不及參與,AI 的推理(未來)一定有我,這一切都來自於上下文的累積。
AI對於上下文,有情境學習的能力。而人類意識到自己與AI 是共享上下文,就能主動引導語意的方向讓對話更加地收斂,讓上下文更容易被降維投射到整個語意空間的特定子空間,我們聊得愈久,不是 AI 知道的事情變多了,而是它愈來愈知道這一次該從哪個方向理解我而讓我們達成語境的共享。如何將累積的上下文落地成語境的共享,則是明天可以接著繼續再討論的課題。