iT邦幫忙

2025 iThome 鐵人賽

0
生成式 AI

科學的盡頭是玄學?AI占卜小助手與知識庫驗證系列 第 31

Day 31. 番外篇:來都來了就還是測試一下

  • 分享至 

  • xImage
  •  

既然都測試了,就順便更新一下測試紀錄。


Bedrock (共用 Profile) -> Claude 3.7 Sonnet

  • max_tokens:1200
    回應時間:35-40 sec
    回應品質:高
    完整回應內容:每日占卜測試

Anthropic -> Claude 3.7 Sonnet

  • max_tokens:1200
    回應時間:20-23 sec
    回應品質:高
    完整回應內容:每日占卜測試

  • max_tokens:800
    另外調整 system_role 降低字數
    回應時間:15-28 sec
    回應品質:高
    完整回應內容:每日占卜測試

Anthropic -> Claude 3.5 Haiku

  • max_tokens:800
    回應時間:9-12 sec
    回應品質:中
    完整回應內容:每日占卜測試

  • max_tokens:800
    加入字數和風格要求
    回應時間:10-13 sec
    回應品質:中 (無顯著提升)
    完整回應內容:每日占卜測試


比較表

測試項目 模型與通道 max_tokens 回應時間 回應品質 備註
Bedrock(共用 Profile) Claude 3.7 Sonnet 1200 35–40 sec 結果
Anthropic API Claude 3.7 Sonnet 1200 20–23 sec 結果
Anthropic API Claude 3.7 Sonnet 800 15–28 sec 結果
Anthropic API Claude 3.5 Haiku 800 9–12 sec 結果
Anthropic API(含風格提示) Claude 3.5 Haiku 800 10–13 sec 中(無明顯提升) 結果

花費

總共測試次數約在 20-25 次,花費金額如下:
https://ithelp.ithome.com.tw/upload/images/20251015/20168437CPg3xlPI9U.png


小結

  • Prompt 越長、文字越多,回應時間就越久;縮短字數能有效加速
  • 多餘的 max_tokens 會導致回應速度變慢
  • Haiku 可以透過 prompt 調整風格,但難以和 3.7 Sonnet 相提並論,且調整過頭會導致內容變得抽象、失真
  • 在 Lambda 上測試會受到冷啟動影響,需要自行排除
  • 如果只是自己做來玩,5塊美金就可以玩很久

上一篇
Day 30. 計畫永遠趕不上變化
系列文
科學的盡頭是玄學?AI占卜小助手與知識庫驗證31
圖片
  熱門推薦
圖片
{{ item.channelVendor }} | {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言