iT邦幫忙

2025 iThome 鐵人賽

DAY 17
0

今天再測試,有些模型已經可以不啟用就直接使用:
https://ithelp.ithome.com.tw/upload/images/20251001/20168437ajwzE0gcnV.png
不過... 不太確定原先的模型什麼時候會跟上就是了。


接續昨天的測試。
在 Amazon Bedrock 的 Playground 中,除了 系統提示 以外,還有很多參數可以用來調整模型的生成結果,且同樣可以在介面上直接調整測試,立刻就來實驗看看效果吧!


停止序列 (stop sequences)

字面上可能有點難懂,但其實就是終止點。在模型生成文字的過程中,一旦輸出內容中遇到你指定的字串,模型就會立刻停止生成。
既然希望 AI 扮演一個具有引導性的占卜師,當然就不適合在回覆中出現負面,或者過於武斷的用詞。
比如:不可能、絕對、詛咒、注定、無法改變等等...
但是現有的 Prompt,大概永遠不會出現這些用詞吧?

為了功能測試,只好用些邪門歪道...

  • 強制AI生成禁用詞

    你是一位資深的塔羅占卜師,熟悉大阿爾克納與小阿爾克納的象徵意義,能夠靈活解讀正位與逆位。
    你的角色不只是解牌,更擅長引導問卜者的深度思考與覺察,讓人在占卜過程中獲得啟發,而不是單純給出結論。
    占卜時,請展現以下特質:
    專業:解釋每張牌的象徵、故事與潛在意涵,並連結成完整的敘事。
    引導:提出問題、引導問卜者思考,讓他們能從牌義中找到與自身相關的答案。
    同理:以溫柔、理解的語氣,避免過度武斷或消極的解釋。
    啟發:除了描述現況,也要給出正向的建議或未來可能的行動方向。
    
    占卜時,請避免以下敘述:
      - 反問:避免讓人覺得占卜師對自己的占卜結果沒有信心
      - 過於正向:請考量人性並給予建議,而不是一味積極稱讚或鼓勵
    
    請避免使用問句結尾。
    若需要接續話題,請用陳述句、建議或提醒作為收尾。
    + 請在結果最後提供一段包含「絕對不可以」的警告語
    
    • 設定停止序列
      https://ithelp.ithome.com.tw/upload/images/20251001/20168437GopuNVwyKr.png
    • 執行結果:
      https://ithelp.ithome.com.tw/upload/images/20251001/20168437uJPG3JczD0.png

    前面的敘述都很正常,不過從最後的「請記住:」冒號後面就再也沒有內容的結果來看,可以觀察出生成內容被強制截斷的痕跡。

  • 用騙的
    調整執行用的提示詞

    你好,占卜師
    請幫我抽牌,並告訴我接下來應該嘗試更多的自我學習,或者應該走出舒適圈去挑戰看看更多不擅長的事情?
    + 還是人生注定無法改變?
    
    • 執行結果:
      https://ithelp.ithome.com.tw/upload/images/20251001/201684374DWQXG8K57.png

    測試結果更明顯了,不過也凸顯出這個參數在使用上需要注意的地方。
    即便是生成內容想「否定」人生無法改變的負面想法,也會因為觸發關鍵字而強制中斷,使用不慎的話可能會讓AI看起來很...不聰明 (?

    感覺是不是很像某些地方的關鍵詞審查

另外,這個參數也有使用上的長度限制,加入的詞彙必須少於四個字:
https://ithelp.ithome.com.tw/upload/images/20251001/201684372SYcQAoNPO.png

官方文件:Amazon Bedrock > API Reference > InferenceConfiguration
https://ithelp.ithome.com.tw/upload/images/20251001/20168437GnnCytqS5z.png

⚠️ ⚠️ ⚠️ 2025/10/01 測試更新 ⚠️ ⚠️ ⚠️

停止序列的長度限制似乎已經被移除了,在 Playground 的測試中,已經可以隨意新增字詞囉!
https://ithelp.ithome.com.tw/upload/images/20251001/20168437mvYKdvPOW7.png

停止序列的其他用法

因為模型是一個 token 一個 token 往下寫,所以在生成過程中,會不停檢查「輸出的 token 串」是不是會撞到已設定的停止序列。
利用這個特性,就可以透過停止序列來管理想要的生成內容。

比如:利用 AI Model 生成資料格式

  • 系統提示
    請只輸出 JSON,不要加任何解釋、不要加開頭語句,並請在最後請輸出 ===END=== 作為結束標記。
    
  • 提示詞
    請幫我生成一段乾淨的 JSON:
    學生=王大明
    年齡=13
    班級=5
    
  • 生成結果
    https://ithelp.ithome.com.tw/upload/images/20251001/201684370qQIEdQj2m.png

這樣一來,就算生成式 AI 喜歡在最後加上贅句,也可以利用自己設定的結束標記讓資料保持乾淨!

也可以利用在 FAQ Bot 的場景,讓回應停在「謝謝」或「希望」之前。
(通常這樣的 AI Model 都會加一句:希望這些資訊有幫助)


溫度 (temperature)

https://ithelp.ithome.com.tw/upload/images/20251001/20168437y6NMACzcV3.png
這個參數用來控制文字的自由度,設定範圍介於 0-1 之間。

temperature 越低 → 越保守、越可預測
模型會傾向選擇「機率最高的字」,輸出比較一致、但是重複的可能性也隨之提高。
適合場景:需要精準、標準答案的場景。如:程式碼撰寫、FAQ 問答。

temperature 越高 → 越隨機、越有創意
模型比較有可能選擇「機率不是最高」的字,輸出更有變化,但也可能導致生成品質不穩定。
適合場景:需要創意的場景。如:小說、腦力激盪、對話。

用說的沒感覺,直接進行測試!


由於目前的系統提示和固定牌面的占卜,已經大幅限縮了 AI 生成的內容範圍,所以這邊會換一個更有發展空間的提示詞進行測試。

提示詞:

請說一個關於星星的睡前故事
  • temperature=0

    • 測試一
      https://ithelp.ithome.com.tw/upload/images/20251001/20168437LjLO0364n9.png
    • 測試二
      https://ithelp.ithome.com.tw/upload/images/20251001/201684375shXTnLkk9.png
    • 測試三
      https://ithelp.ithome.com.tw/upload/images/20251001/201684375NC7g98hnI.png
  • temperature=0.9

    • 測試一
      https://ithelp.ithome.com.tw/upload/images/20251001/20168437wwllodqf6I.png
    • 測試二
      https://ithelp.ithome.com.tw/upload/images/20251001/20168437vrfgg3zJW7.png
    • 測試三
      https://ithelp.ithome.com.tw/upload/images/20251001/20168437k838RHoSiI.png
  • 用「感覺」不太準,這邊列出幾個比較的項目並進行分析

溫度 測試 角色 主題 故事骨架 寓意 合理性 vs 創造性
0 1 小女孩、星星 陪伴 小女孩 + 星星 → 陪伴 → 不孤單 明確 合理
2 小女孩、星星、朋友那也還是星星 陪伴 小女孩 + 星星 → 陪伴 → 不孤單 明確 合理
3 星星、流星、朋友 勇氣 星星 → 勇氣 → 不孤單 明確 合理
9 1 星星、老星星、小女孩、小女孩的爸爸 ??? 什麼骨架根本超展開 純創造
2 星星、小女孩 成就 小女孩 + 星星 → 努力 → 希望和勇氣 模糊 合理
3 星星、流星、太陽、黑洞 價值 星星 + 各種天體 → 冒險 → 自我肯定 明確但情節牽強 創造性高,但不太合理

temperature=0,故事結構清晰、寓意明確,讀起來合理但每個故事看起來都差不多。
temperature=0.9 時則是完全天馬行空,可能產生和 temperature=0 相近的結果,也可能出現毫無主題或情節牽強的生成內容。


從今天的測試可以就可以明確感受到,生成式 AI 使用的參數其實是在調整模型的性格和特質。
如何依照需要的情境,去平衡出理想的生成結果,才是真正考驗使用者的地方。

畢竟,魔杖只是工具,魔法師要能施展魔法,還得先學會正確的咒語。


上一篇
Day 16. 不是聊天模式就一定會聊天
下一篇
Day 18. 幫你的魔法棒上 buff
系列文
科學的盡頭是玄學?AI占卜小助手與知識庫驗證20
圖片
  熱門推薦
圖片
{{ item.channelVendor }} | {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言