iT邦幫忙

2026 iThome 鐵人賽

DAY 5
0
AI 自動化

Data Machi 30 天學習系列:從零開始打造企業 AI 知識工作流系列 第 5

Day 04|Prompt 寫再長也不會自動變成可靠的工作流程

  • 分享至 

  • xImage
  •  

很多人在建立 AI 系統的初期,都會有一個很自然的想法:只要把規則寫得夠清楚、夠完整,模型應該就能按照指示完成任務。

這個做法在簡單情境下確實有效。例如,要求模型使用繁體中文回答、以條列方式整理重點,或將內容限制在 300 字內,通常都能得到相對穩定的結果。

但當任務開始涉及資料查詢、工具呼叫、條件分支、錯誤處理與多步驟執行時,單靠 Prompt 就會逐漸碰到極限。

Prompt 可以告訴模型它的角色、任務與期待行為,卻無法保證每一個步驟真的被執行。這也是聊天型 AI 與企業級工作流程之間最重要的差異之一。


一個看似合理,卻暗藏問題的設計

假設你在 System Prompt 中寫下以下規則:

你是企業數據助理。當使用者提問時,請遵守以下規則:

1. 先查詢 Google Sheets 取得相關數據
2. 如果 Google Sheets 找不到,再查詢 Confluence 文件
3. 最終回答必須附上資料來源
4. 如果資料不足,請說明無法確認,不可以自行推測

乍看之下,這段 Prompt 已經把步驟、工具順序、引用要求與錯誤處理都交代得很清楚,似乎足以形成一套完整流程。

但實際執行時,模型可能出現許多不一致的行為。

它可能按照規則查詢 Google Sheets,也可能直接根據語言模式產生一個看似合理的答案,完全跳過工具呼叫。它甚至可能先回答「好的,我來查一下」,卻沒有真的送出任何工具請求。

當規則數量增加、任務變得更複雜時,模型也可能只遵守其中一部分。例如,它確實查詢了資料,卻忘記附上來源;或是在第一個工具沒有結果時,直接回答找不到資料,而沒有繼續查詢第二個來源。

更麻煩的是,同樣的問題在不同對話中,可能產生不同的執行路徑。有時模型會查工具,有時卻直接回答。這種不確定性在一般聊天中或許可以接受,但如果回答涉及營運數字、專案進度或企業決策,就會成為嚴重的可靠性問題。

Prompt 描述的是「期待的行為」,而不是「被保證的行為」。

大型語言模型是機率性的系統,同一段指令在不同問題與上下文中,可能產生不同的執行結果。


企業 AI 系統的四個層次

要理解為什麼 Prompt 無法取代工作流程,需要先區分企業 AI 系統中的四個不同層次:Prompt、Policy、Tool 與 Workflow。

這四個概念經常被混在一起,但它們解決的是完全不同的問題。

1. Prompt|描述期待

Prompt 用來告訴模型它應該扮演什麼角色、完成什麼任務,以及如何呈現回答。

例如:

  • 使用繁體中文回答
  • 先提供結論,再說明分析過程
  • 回答時避免使用過度技術化的語言
  • 將結果整理成表格
  • 若資料不足,主動說明限制

Prompt 很適合處理語氣、格式、角色與一般性的行為指引。它描述的是「希望模型怎麼做」,但並不能強制模型在所有情境中都完整遵守。

2. Policy|定義不能違反的邊界

Policy 是系統必須遵守的業務規則與安全邊界。

例如:

  • 沒有工具查詢結果時,不得提供具體營運數字
  • 使用者沒有權限時,不得讀取敏感文件
  • 高風險操作必須經過人工確認
  • 回答中的資料來源必須可以追溯
  • 找不到資料時,不得自行補上一個推測答案

這些規則如果只寫在 Prompt 中,仍然有被忽略的可能。因此,重要的 Policy 通常需要透過程式進行驗證,例如檢查工具結果是否存在、使用者是否具備權限,以及回答中是否真的包含來源。

3. Tool|提供真正的執行能力

Tool 是讓 AI 能夠取得外部資料或執行操作的介面。

如果沒有 Tool,Prompt 中寫著「請查詢 Google Sheets」也沒有意義,因為模型根本沒有能力連接資料來源。它只能根據既有上下文,模擬一個查詢後的回答。

常見工具可能包括:

  • Google Sheets
  • Confluence
  • Trello 或 Jira
  • SQL 資料庫
  • 搜尋引擎
  • Python 分析環境
  • Email 與行事曆
  • 企業內部 API

Tool 解決的是「系統能不能做這件事」,但它仍然不負責保證工具何時被使用,以及不同工具應該按照什麼順序執行。

4. Workflow|控制整個執行流程

Workflow 用程式控制步驟順序、條件分支、工具執行、錯誤重試與結束條件。

它處理的是:

  • 哪一個步驟應該先執行
  • 哪些條件下要呼叫某個工具
  • 工具失敗時是否重試
  • 何時需要改用其他來源
  • 什麼情況下可以產生最終答案
  • 什麼情況下必須停止並回報錯誤

Workflow 的價值在於,將關鍵流程從模型的自由判斷中抽離,改由程式保證。

Prompt、Policy、Tool 與 Workflow 不是互相取代,而是彼此疊加。

一套可靠的企業 AI 系統,需要清楚的 Prompt、明確的 Policy、可執行的 Tool,以及能控制流程的 Workflow。最常見的錯誤,是以為只要把 Prompt 寫得夠長,就能取代其他三個層次。


什麼才是真正的 Workflow?

Workflow 的核心不是把步驟寫成一段文字,而是讓程式實際控制每個步驟能否執行。

以「回答今年需求工單趨勢」為例,一套真正的 Workflow 可能按照以下流程運作。

1. 接收問題並判斷任務類型

系統先分析使用者的問題,判斷這是一個數據查詢、文件查詢,還是需要跨來源整合的複合任務。

例如,「今年需求工單有多少張」主要需要查詢 Google Sheets;「需求工單分類如何定義」可能需要查詢 Confluence;而「哪一類需求最多,以及相關專案進度如何」則可能同時需要 Google Sheets、Confluence 與 Trello。

這個判斷會決定後續的執行路徑。

2. 呼叫工具並等待結果

當系統確認需要查詢工具後,程式會發出工具呼叫,並等待工具真正返回結果。

在這個階段,系統不應允許模型先產生最終答案。即使模型輸出「好的,我正在查詢」,也不能把這段文字當成任務已經完成。

必須等到工具結果存在後,流程才能進入下一步。

3. 驗證工具是否真的被呼叫

工作流需要檢查模型是否真的產生了工具呼叫,而不是只輸出一段看似正在執行的文字。

如果模型說:

好的,我先幫你查詢今年的需求工單資料。

但輸出中沒有實際的工具請求,工作流就不應直接結束。它可以要求模型重新選擇工具,或由程式直接切換到指定的查詢節點。

這個驗證機制非常重要,因為模型生成「行動描述」並不等於系統真的完成了行動。

4. 驗證結果並整合回答

工具返回結果後,系統還需要確認資料是否有效。

例如:

  • 查詢結果是否為空
  • 資料期間是否符合問題
  • 是否缺少必要欄位
  • 回傳內容是否發生錯誤
  • 是否需要查詢第二個來源
  • 不同來源之間是否存在衝突

只有在工具結果通過驗證後,模型才能根據真實資料產生最終回答。

如果查不到資料,則應依照 Policy 明確說明無法確認,而不是讓模型自行補上一個合理數字。

5. 設定錯誤處理與結束條件

任何工具都有可能失敗。例如,API 沒有回應、資料庫連線逾時、使用者沒有權限,或查詢語法錯誤。

因此,一個真正的 Workflow 還需要定義:

  • 最多重試幾次
  • 每次工具呼叫可以等待多久
  • 第一個來源失敗時是否改查其他來源
  • 哪些錯誤可以自動修正
  • 哪些情況必須回報使用者
  • 系統何時應該停止執行

沒有明確的結束條件,系統可能不斷重試;沒有錯誤處理,系統則可能直接中斷,或在沒有資料的情況下產生錯誤答案。


Data Machi 的實作設計

在 Data Machi 的設計中,我將規則依照重要性拆成三個層級:

L1|Workflow
程式強制執行:工具呼叫、步驟順序、條件分支、錯誤處理與結束條件

L2|Policy
系統驗證規則:查不到資料時的處理方式、來源引用與權限限制

L3|Prompt
模型行為偏好:回答格式、語言風格、內容長度與說明方式

這樣的分層可以避免把所有需求都塞進同一段 System Prompt。

例如,「請使用繁體中文回答」屬於表達偏好,即使偶爾出現英文術語,也不會直接影響資料正確性,因此適合放在 Prompt。

但「回答數字前必須查詢 Google Sheets」會直接影響答案可信度,就不能只依賴模型自覺遵守,而應由 Workflow 檢查工具是否真的被呼叫。

同樣地,「查不到資料時不得自行推測」屬於重要的 Policy。系統可以在產生最終答案前,檢查是否存在有效的工具結果;若沒有,就只能回覆資料不足,而不能進入一般生成流程。


如何判斷系統是否真的按照流程執行?

一個實用的方法,是在 AI 系統中加入執行日誌,記錄每次任務實際走過的步驟。

例如:

  • 問題被分類成哪一種類型
  • 呼叫了哪些工具
  • 每個工具執行了幾次
  • 工具執行時間
  • 是否發生錯誤
  • 是否進行重試
  • 使用了哪些資料來源
  • 最後在哪個節點結束

如果日誌顯示許多需要企業資料的問題,最後卻是「零次工具呼叫」,就代表模型經常跳過查詢流程,直接產生答案。

這類問題如果沒有日誌,很難從最終回答中察覺。因為模型可以用非常自然的語氣,讓使用者誤以為資料已經被查詢。

因此,可觀測性不只是工程團隊除錯的工具,也是企業 AI 可信度的重要基礎。


給初學者的比喻:員工手冊與報帳系統

可以把 Prompt 想成一份員工手冊。

手冊上寫著:

報帳前,請先取得主管簽核。

員工看過手冊後,理論上應該遵守規定,但他仍然可能忘記、誤解,或因為趕時間而直接送出。

Workflow 則像一套報帳系統。當主管簽核欄位是空白時,系統會直接擋下送出操作,顯示:

尚未完成主管簽核,無法提交。

員工手冊只能描述期待行為,報帳系統則能保證必要條件沒有完成時,流程無法繼續。

企業工作流程的可靠性,來自後者,而不是前者。


為什麼規則越多,Prompt 反而越不可靠?

當 System Prompt 變得愈來愈長時,模型需要同時處理角色設定、語氣要求、輸出格式、工具規則、安全限制與大量例外情況。

這些規則之間可能互相衝突,也可能因為問題複雜度增加,使模型更重視表面上的回答需求,而忽略程序要求。

例如,使用者要求「請直接告訴我結果,不要解釋過程」,但 System Prompt 又要求「查詢工具後才可以回答」。如果沒有程式控制,模型可能為了滿足使用者對速度與直接性的期待,而跳過工具查詢。

又例如,Prompt 前段要求「必須附上來源」,後段又列出大量格式與風格規則。模型可能成功生成一篇結構完整的回答,卻漏掉最關鍵的來源。

這並不是模型故意違反規則,而是機率性生成系統的本質限制。

解決方法不是持續增加 Prompt 長度,而是把不能被違反的規則,移到 Policy 與 Workflow 層面。


Agentic Workflow 和傳統自動化有什麼不同?

傳統自動化通常是完全確定性的。

例如:

如果申請金額小於 10,000 元
→ 交由部門主管核准

如果申請金額大於或等於 10,000 元
→ 交由部門主管與財務主管共同核准

每一個條件與下一步都事先寫死,系統不需要理解任務,也不會自行改變執行路徑。

Agentic Workflow 則允許 AI 在一定範圍內自主判斷。例如,它可以根據使用者問題選擇工具,或根據第一個查詢結果決定是否需要補充另一份文件。

這種設計比傳統自動化更有彈性,特別適合處理自然語言、非結構化文件與無法事先列出所有路徑的任務。

但彈性也會帶來不確定性。因此,好的 Agentic Workflow 不是完全放任模型自行決定,也不是把每一步都寫死,而是在兩者之間取得平衡:

  • 讓 AI 判斷具有彈性的部分
  • 用程式保證不可違反的關鍵行為
  • 在高風險節點加入人工確認
  • 對錯誤、超時與無結果狀況設定明確處理方式

踩坑筆記:哪些規則應該放在 Prompt?

當系統規則愈來愈多時,不要第一時間把它們全部加進 Prompt。可以先判斷這條規則屬於「偏好」,還是「必要條件」。

適合放在 Prompt 的規則

這類規則通常與表達方式有關,即使偶爾沒有完全遵守,也不會直接破壞答案的可信度。

例如:

  • 使用繁體中文
  • 先說結論,再補充細節
  • 語氣保持專業但容易理解
  • 將回答控制在五個段落內
  • 使用表格呈現比較結果
  • 避免使用過多術語

應該由 Policy 或 Workflow 保證的規則

這類規則如果被違反,會影響答案正確性、安全性或可信度。

例如:

  • 沒有資料來源時不得提供具體數字
  • 必須完成工具查詢後才能回答
  • 使用者沒有權限時不得顯示文件內容
  • 工具失敗時最多重試兩次
  • 高風險操作必須取得人工確認
  • 不同來源發生衝突時不得自行選擇其中一個
  • 找不到資料時必須明確說明限制

一個簡單的判斷標準是:

如果這條規則被違反,會不會影響答案的正確性、安全性或可信度?

如果答案是會,就不應只寫在 Prompt 中,而需要由程式層面的機制保證。


本日重點

今天只需要記住一件事:

Prompt 提供方向,Workflow 提供確定性。

Prompt 可以描述模型應該扮演的角色、使用的語氣與期待行為;Policy 負責定義不能違反的業務與安全邊界;Tool 提供存取資料與執行操作的能力;Workflow 則負責控制整個執行順序、驗證結果與錯誤處理。

企業 AI 系統要可靠,不能只問「Prompt 寫得夠不夠完整」,還必須確認:

  • 工具是否真的被呼叫
  • 必要步驟是否一定會執行
  • 資料是否經過驗證
  • 錯誤是否有明確處理方式
  • 關鍵規則是否由程式保證
  • 每次執行是否可以追蹤與重現

下一篇,我們會正式介紹 Data Machi 如何從一個單純的分析工具,逐步演進成企業知識工作流系統,以及這段過程中真正困難的部分是什麼。


上一篇
Day 03|為什麼通用 AI 知道很多,卻不知道你公司的事?
系列文
Data Machi 30 天學習系列:從零開始打造企業 AI 知識工作流5
圖片
  熱門推薦
圖片
{{ item.channelVendor }} | {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言