- 為什麼要關心 Tokne 用了多少
- 減少 Token 的使用的兩個小技巧
昨天的文章中,我們瞭解到了 Context Window 和計算的單位 Token,今天我們要來聊聊關於我怎麼使用我的 Token。
因為目前市面上大部分的 AI 服務都是按照 Token 計費的。
還記得我們剛剛說的,Token 是 Context Window 的計算單位嗎?Context Window 是 AI 記住的事情,所以所有需要讓 AI 記住的內容都會以 Token 為單位被計算。
你問 AI 問題,他需要記住才能開始思考要給你什麼回答;他要記住他思考了哪些內容,才能在後續的對話中告訴你他是怎麼思考的;他需要記住給你的回應,才不會出現「我剛剛有這樣說嗎?」的不負責任對話。
最重要的事情就是給定明確的範圍和拆解問題。
舉例來說,如果你希望他修改程式碼,比起大範圍的告訴他關鍵字:「請幫我修改 useUserInfo 的 api 結構」,更好的方法是利用 AI 工具的一些小技巧,例如大多數 AI 都通用的,用 @
來引用要參考的檔案:「請幫我修改 @/src/hooks/useUserInfo.tsx
的 api 結構」。
這樣做的好處除了可以減少 AI 搜尋所需要花費的時間外,因為搜尋的範圍變小了,需要花費的 Token 也就變少了,荷包也就不會哭得這麼淒厲了。
另外一個減少的方法就是拆解你的問題。
你在和新來的同事 pair 的時候,會直接和他說:**「來,我們來重構整個用戶管理系統吧」**這種指令嗎?
如果不會的話,我們也不應該強迫 AI 接受這種指令。這種模糊且龐大的需求除了會讓 AI 需要花很多時間去搜尋你想要修改的檔案,快速消耗你的 Token之外,也可能在某些你沒有明確定義的需求上,使用他的幻覺幫你做完修改,結果反而不如你的預期,甚至可能要砍掉重來。
我自己在和 AI pair 的時候,假設要進行重構比較大的段落,第一步我會先把想重構的檔案標記給 AI,請他告訴我這些程式碼在做什麼。如果他回答的不正確,就會告訴他哪裡錯了,更正他的記憶。
確認他理解的沒有問題後,我會繼續問他有什麼重構的建議,並且給他一些明確的規範,通常是「至少給我三個具體的建議」,或是「不可以使用 XXX 方法」。如果有需要的話,也可以請他分析優缺點,並提供他推薦的做法。
直到他提供完建議後我才會真的請他幫我實作重構的部分。這個過程可能會比起直接下「重構整個系統」來的麻煩,但我可以在每個階段都先確認方向是否正確,避免 AI 寫歪,減少後續的時間成本,我認為拆解指令的時間花得很值得。
讀到這邊的你,有沒有覺得和 AI pair 有很多眉角要注意呢?其實在和人類 pair 的時候也是,你會需要嘗試用對方聽得懂的語言去描述你想做的事情,練習和 AI pair 其實也會同時練習到和真人 pair 的技巧。
以上就是今天的分享,接下來我們要開始看看第一個 AI 工具 —— Cursor 要怎麼使用了。我們明天見囉 👋