【Day8】AI 會彈錯音嗎？驗證與優化你的第一個AI 工具

2025 iThome 鐵人賽

DAY 8

生成式 AI

30 天打造你的 AI 客戶金融助理團隊系列第 8 篇

17th鐵人賽生成式ai gemini ai genai

eyelash*睫毛

2025-09-06 23:55:55

45 瀏覽

分享至

TL;DR

AI 產出的東西不一定是對的，需要經過反覆驗證才能使用。
可用三種快速的驗證方式：特定值驗證法、邊界測試法、AI 自我解釋法。
學會如何與 AI 進行「除錯對話」，將工具打磨至專業水準。

Gemini 這位首席音樂家昨天為我們演奏出一首華麗的「互動交響曲」，成果令人驚艷，但我們仍感受到的這首樂曲，似乎還有幾個音符不太對勁。

更重要的是，在數字絕對不能出錯的金融領域，我們能 100% 信任這個 AI 在幾秒鐘內譜出的旋律嗎？

答案是：不行，除非我們親自驗證過。

我們現在就要從「指揮家」變身為專業的「品保員」（Quality Assurance），學習如何驗證、除錯並優化 AI 的產出，確保我們的工具不僅好用，更要絕對可靠！

心態建立：AI 是你的資淺助理，不是全能的神

在面對任何 AI 工具時，我們必須建立一個最重要的心態：AI 是我們能力超群、效率極高，但經驗尚淺的助理，而不是一個不會犯錯的神。

它能快速完成 90% 的工作，但最後那 10% 的校對、驗證與微調，正是身為專家的我們，無可取代的價值所在。學會驗證，就是學會如何領導你的 AI 團隊。

非工程師的三種驗證法

驗證 AI 工具的準確性，並不要求我們看懂程式碼。我們可以透過以下三種「黑箱測試」方法（什麼是黑箱測試？可以參考之前鐵人賽的文章〈【D10】概述測試方法〉），像偵探一樣，從外部的輸入與輸出來判斷內部邏輯的對錯。

驗證法一：特定值驗證法（Specific Value Testing）

這是最直觀、也最可靠的方法。我們拿一組已經知道正確答案的數據去測試它，看看 AI 的答案是否一致。

【實戰演練】

我預先用試算表軟體，計算了一組精確的數值，讓我們用這組數據來「考試」：

輸入值：
- 目前年齡：42 歲
- 預計退休年齡：65 歲
- 目前已準備的退休金：800,000 元
- 每個月預計投入的金額：19,391 元
- 預期年化投資報酬率：8%
- 預期通貨膨脹率：0% （我們先將通膨設為0，簡化驗證的複雜度）
預期結果：
- 根據計算，在 65 歲退休時，累積的總資產應該會非常接近「20,281,460」元。

現在，請在你的計算機中輸入這些數值，按下【開始計算】，看看輸出的結果是否與我們的預期相符。

註：此數值由網路上提供的計算機計算出來：複利計算機，想要用不同數字的人可以在這邊使用。

注意：由於程式在小數點進位的處理上可能有些微差異，結果不一定會 100% 完全一樣，但數字應該要非常非常接近。如果差了十萬八千里，那就代表 AI 的計算邏輯肯定有問題！

驗證法二：邊界測試法（Boundary Testing）

這個方法的精神是，用最極端或最簡單的數字，來測試 AI 的邏輯是否穩固。

零值測試：
- 將「預期年化投資報酬率」和「預期通貨膨脹率」都設為 0%。
- 在這種情況下，不考慮任何投資收益，最終的資產總額應該就等於「目前已準備的退休金 + (每月投入金額 * 12 * 投資年限)」的簡單加總。這是一個用手機計算機就能快速驗證的結果。
簡易值測試：
- 輸入一組你能心算的數字。例如：年齡 30、退休 31（只算一年）、本金 100 萬、月存 0、報酬率 10%。
- 那一年後的結果，就應該是 100萬 * 1.1 = 110萬。看看 AI 的答案對不對。

驗證法三：AI 自我解釋法（AI Self-Explanation）

就算看不懂程式碼也沒關係，我們可以命令 Gemini 用「人話」來解釋它自己寫的程式碼。

【實戰演練】

在 Canvas 畫面右上角，點擊「程式碼」，複製中間 JavaScript 的部分。
打開一個新的 Gemini 對話視窗，貼上以下指令：

你是一位金融專家，請用白話文和條列式，向一個完全不懂程式的人，解釋底下這段 JavaScript 程式碼的計算邏輯。請一步步說明，資產是如何逐年累積的。

{在這裡貼上你複製的程式碼，從 \<script\>複製到\</script\>}

程式碼的樣子大概會是如下圖，在<script> 和 </script>之間。簡單的做法，就是把整段複製下來，然後給 Gemini：

Gemini 會將複雜的程式，翻譯成類似「第一步了解您的狀況...第二步計算資產的逐年成長...第三步計算您真正的退休目標金額...第四步算出缺口或盈餘」這樣的中文步驟。並且會說出程式碼裡面的計算方式，像是「計算本利、計算報酬、年底結算...」，清楚了解這個互動網頁做了什麼事情。
因此我們可根據 Gemini 解釋的這些步驟，判斷它的計算順序和邏輯是否符合我們的專業知識。

以下是我請 Gemini 幫我解釋 JavaScript 的部份，提供大家參考：

### 第一步：了解您的現況

首先，程式會讀取您在網頁上輸入的所有數字，就像理財顧問在問您問題一樣：
- 您現在幾歲？打算幾歲退休？
- 您現在存了多少錢？
- 您每個月打算再存多少錢？
- 您預計退休後每個月要花多少錢？
- 您期望的投資報酬率和擔心的通貨膨脹率是多少？

### 第二步：計算資產的逐年成長（神奇的複利魔法）

這是整個計算最核心的部分，也就是資產累積的過程。程式會模擬從您「目前年齡」到「預計退休年齡」的每一年，您的錢是如何變大的：
1. 起點：計算的第一年，會從您的「目前已準備的退休金」開始。
2. 投入本金：在這一年裡，程式會把您「每個月預計投入的金額」乘以 12 個月，算出您這一年總共投入的新資金。
3. 本利和：程式會把「年初的總資產」加上「今年投入的新資金」，得到一個新的總數。
4. 計算報酬：接下來，程式會把這個新的總數，乘上您設定的「預期年化投資報酬率」。這就是您這一年投資所賺到的錢。
5. 年底結算：最後，程式會把「本利和」加上「投資賺到的錢」，得到您第一年年底的總資產。
6. 重複循環：更神奇的來了！第二年會用第一年年底的總資產作為新的起點，然後重複上面的 2~5 步驟。之後的每一年，都會用前一年的最終成果當作本金繼續滾動，這就是「複利」的威力——讓您的錢連同它所賺到的錢，一起再生出更多的錢，像滾雪球一樣越滾越大。

這個過程會一直重複，直到您設定的退休年齡為止，最後算出您在退休那一刻，預計會累積到的「總資產」。

### 第三步：計算您真正的退休目標金額

光有資產不夠，我們還需要知道退休後到底需要多少錢才夠花。

1. 考慮通貨膨脹：程式會考慮到「通貨膨脹」的影響。您今天想的每月花費 4 萬元，到了 30 年後可能因為物價上漲，需要 6、7 萬元才有相同的生活品質。程式會幫您把「預計每月花費」換算成退休那一年的等值金額。
2. 估算退休總需求：接著，程式會使用一個理財上常用的「4% 法則」來反推。簡單來說，就是把您退休後「經通膨調整後的年度總花費」乘以 25 倍。這個數字，就是您退休時至少需要準備好的總金額。

### 第四步：算出「缺口」或「盈餘」

最後一步非常簡單：
- 程式會把「您真正的退休目標金額」（第三步算的）減掉「您預計累積的總資產」（第二步算的）。
- 如果結果是正數，代表您的資產還不夠，這就是「退休金缺口」。
- 如果結果是負數或零，恭喜您！這代表您的資產是足夠的，甚至還有多餘，這就是「資產盈餘」。