iT邦幫忙

2025 iThome 鐵人賽

DAY 14
0
生成式 AI

30 天打造你的 AI 客戶金融助理團隊系列 第 14

【Day14】第二個專案品保:如何驗證一個動態模擬器

  • 分享至 

  • xImage
  •  

TL;DR

  • 建立心態:更複雜的工具,需要更嚴謹的驗證流程。
  • 學習如何「馴服隨機性」,將動態模擬暫時變為可預測的模型,以便驗證。
  • 設計一個「必觸發」的測試案例,精準驗證「再平衡」的核心條件邏輯。
  • 將 Day 8 的驗證法,升級應用到更複雜的場景中。

昨天,我們再次體驗了 Gemini 將複雜藍圖一鍵化為現實的魔力,並完成了股債平衡與再平衡模擬器的初步建構與微調。

但如同我們感受到的,這個工具的計算邏輯遠比退休金計算機複雜。它包含隨機性,每次模擬的結果都不同。那麼......我們該如何驗證一個動態、不可預測的系統呢?今天,我們的驗證思維,需要「核對最終答案」,升級為「檢驗遊戲規則」,確認 AI 是否真的理解並遵守了我們設定的市場模擬規則。

偵錯挑戰一:如何驗證看不見的「隨機性」?

驗證法:馴服隨機法(Taming the Randomness)

這是驗證動態模擬最強大的技巧。既然隨機性讓我們難以預測,那我們就先命令 AI 暫時移除隨機性,讓模型變回一個可預測的狀態。

【實戰演練】

  1. 回到我們 Day 13 的 Canvas 專案。
  2. 對 Gemini 下達一個這樣的指令:
為了方便我進行驗證,請你暫時修改這個模擬器的計算邏輯。請將「市場波動率」的影響設定為 0,也就是說,每一年股票和債券的實際報酬率,就等於我輸入的「預期年化報酬率」,不要有任何隨機波動。

當波動率被設為 0% 後,這個模擬器就退化成了一個單純的「複利計算機」。這時,我們就可以用 Day 8 的「特定值驗證法」,拿試算表或計算機來核對 AI 的基礎運算是否正確。這一步是為了確保在加入隨機性之前,工具的底層數學邏輯是正確的。
(這時看圖表,就是很平滑的兩條線。)

〈圓滑的圖表〉
https://ithelp.ithome.com.tw/upload/images/20250912/20103826cEVkAMRppG.png

  1. 驗證完別忘了還原喔!

在確認基礎邏輯無誤後,我們要讓隨機性回來,才能進行下一步的測試。因此我們可以對著 Gemini 說出想要復原的指令:

我已經檢驗結束,請幫忙把「市場波動率」調回原狀吧。

過一下子就恢復原樣囉!當然,如果不放心的話,也可以點擊按鈕,看圖表有沒有顯示出隨機性。

核心挑戰二:如何驗證關鍵的「再平衡」邏輯?

「再平衡」是一個條件式的行為,只在特定情況下觸發。我們如何確保 AI 真的在「對的時間」做了「對的事」呢?

驗證法:「必觸發情境」設計法(Forced-Trigger Scenario)

我們要設計一個極端的場景,確保「再平衡」的條件在第一年就必定會被觸發,然後用計算機一步步手動驗算 AI 的行為是否正確。

【實戰測試案例】

  1. 設定極端參數(請先確認波動率已設為 0):
    • 初始金額:100 萬
    • 資產配置:股票 50% / 債券 50% (各 50 萬)
    • 模擬年期:1
    • 股票報酬率:+100% (直接翻倍)
    • 債券報酬率:0%
  2. 手動推算「預期行為」
    • 一年後,股票會從 50 萬變成 100 萬
    • 債券維持 50 萬
    • 總資產變為 150 萬
    • 此時資產比例變為 股票 66.7% / 債券 33.3%,已嚴重偏離 50/50。
    • 一個正確的「再平衡」機制應該被觸發,系統會賣出股票、買入債券,將資產重新調回 股票 75 萬 / 債券 75 萬 的 50/50 比例。
  3. 對照結果: 在我們的模擬器中輸入這組參數,選擇「每年底再平衡」,然後觀察最終的資產總額(應為 150 萬)。接著,我們可以用「AI 自我解釋法」請 AI 說明,它內部是如何進行資產的重新分配的,藉此驗證它的「再平衡」交易邏輯是否正確。

本日總結

今天我們學會了如何像一位專業的品保工程師一樣,透過「馴服隨機」和「設計極端案例」這兩種進階技巧,來驗證一個複雜的動態模擬器。

在確保了工具的可靠性後,明天我們將正式進入 AI 溝通術的世界,學習如何讓 AI 的產出,更具備我們的個人風格與專業度。


上一篇
【Day13】第二個專案:一鍵生成更複雜專案「股債平衡與再平衡模擬器」
下一篇
【Day15】AI溝通術-Gem:賦予你的AI一個專業靈魂
系列文
30 天打造你的 AI 客戶金融助理團隊15
圖片
  熱門推薦
圖片
{{ item.channelVendor }} | {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言