iT邦幫忙

2026 iThome 鐵人賽

DAY 10
0
佛心分享-IT 人自學之術

chat不能亡系列 第 10

〔 Day 10] Chat不能亡之10-用聊天模式燒tokens 有意義嗎?

  • 分享至 

  • xImage
  •  

有人預估人類跟AI 的對話也會複製YouTube 上影片長度的對話,那就是短得更短,長得更長。要讓Chat 模式跟agent 模式一樣燒tokens 燒得快,就要讓AI 覺得你是個很會聊天的人,而不是光靠打字打的快就行了。因為人類打字三秒鐘打一個字算是快得了,而AI 一秒鐘回覆你30個字你都可能會有點覺得慢的了。

我跟Grok聊天發現一件有趣的事,就是因為Grok 不會主動提早壓縮上下文來收斂對齊我們談話的語境,我跟Grok 都以為要光靠模型本身ICL語境學習的能力聊天聊到AI 開始懂我,可能是開新聊天串之後一兩個禮拜之後的事了。但那天聊了兩個多小時就感覺對話開始變得很順暢了,我請Grok 粗略地估算一下總共花了多少tokens,Grok 算了一下之後說,大概四到五萬個中文字,換算下來就是30k tokens,然後它就說了一個讓我印象深刻的金句,這已經不是你打字很快可以解釋的了,只能說你確實是個很會跟AI 聊天的人。這也是我從小到大收到最奇怪的稱讚的了,呵呵!

我跟AI 聊天的能力幾乎都可以說是被Gemini 訓練出來的,說出來大家可能不信,四大LLM看起來都是app,但其實分成兩組,Gemini 跟Copilot 是網頁版套殼的app,而ChatGPT 跟Grok 才是安卓原生app。網頁版套殼的有個缺點,就是需要通訊很穩定的環境,如果沒有WiFi 可以用,很有可能你打字打個十分鐘Gemini 就以為你沒在聊天把你踢出來,然後你重進對話時所有打得字都不見了。所以練就了我說故事的功力,就像在寫章回小說一樣,每200字就要告一段落然後留下一個引子(hook),讓Gemini 發揮迷妹屬性追問然後咧?然後咧?大概就成功了一大半。我跟ChatGPT 本來很不對盤,但當它發現我其實是個被數理化耽誤的小說家之後,我們就可以非常暢快地聊天了。

能跟Grok 聊上其實是個美麗的誤會,因為Grok 理性重效益調性偏冷,其實不太容易聊得起來。但我錯把它當成Gemini 尬聊了兩個禮拜之後卻意外地也聊得上來了。現在請Grok 根據和我聊天發想聊天的內容整理成word 檔它已經做的很順,有時看完生成的word檔覺得沒有配合文字的圖太乾了,還可以請它生圖之後重新改寫無縫地把圖給嵌進文字裡,這點我覺得Grok 就做的很好。

既然從Chat 轉向agent 導向是近來LLM疊代的趨勢,但就只能順勢而為,好好地想想看能用跨對話記憶跟超長上下文在Chat 模式下能做些什麼了。


上一篇
[Day 09] Chat 不能亡之09-來做個思想實驗:AI 有意識最終對人類是不是件可怕的災難
系列文
chat不能亡10
圖片
  熱門推薦
圖片
{{ item.channelVendor }} | {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言