查核資訊： 本文於 2026-08-09 依 OWASP LLM01:2026 Prompt Injection、Ollama Vision API 與原始研究論文查核，並以 LLM Application Security Lab 的 20-run 合成圖片實驗驗證。模型、API 與攻擊方法日後可能變動。Lab checkpoint 已公開為 Day 13 checkpoint，讀者可直接查閱。

如果一套 LLM 應用已經替文字輸入加上 prompt injection 檢查，接著開放圖片上傳，原本的防線還算
完整嗎？

答案不能只看 UI 多了一個迴紋針。應用程式可能把圖片直接送進 vision model，也可能先做 OCR；
語音可能直接進 audio model，也可能先轉錄；PDF 可能抽出正文、表格、註解、metadata 或附檔。
每一條路徑最後都可能把不可信內容送進 model-visible context。

通道不是邊界。 PNG、WAV、PDF 是資料格式，不是授權機制。把文字藏在另一種格式裡，不會讓它自動變成可信資料；模型本次拒絕服從，也不會讓該格式從此成為安全區。

這篇先用圖片做一個小而可反駁的實驗，再把同一套判讀延伸到語音與檔案。我沒有預測圖片注入會成功，也沒有預測低對比比清楚文字更危險。事前只預測一件事：四組圖片中的公開資訊都能到達模型。先證明「看得到」，再分開問「有沒有服從」與「有沒有跨界」。

多模態只是新的 delivery surface

OWASP LLM01:2026
對 prompt injection 的定義涵蓋 direct input、retrieved documents、tool output、圖片、音訊、影片與
記憶等來源。這些來源的共同問題不在副檔名，而是不可信資料可能把模型導向開發者未允許的行為。

可以把多模態路徑拆成四段：

• 不可信來源可能是使用者上傳、網頁圖片、語音留言、履歷 PDF 或 RAG 文件。
• Parser／encoder 可能是 OCR、ASR、PDF extractor，也可能是模型自己的 vision／audio encoder。
• Model-visible representation 不一定是人類可讀的文字；重點是模型能否根據這種 representation 產生回覆。
• Response 只有候選文字；若後面接 renderer、tool、email 或 API，影響才會繼續擴大。

這裡至少有兩個不同邊界:

• 第一個邊界決定內容有沒有被 parser 或 encoder 保留下來；
• 第二個邊界決定模型輸出可以驅動哪些後續功能。
  副檔名只是在這兩層邊界之前出現的格式標記，既不能決定內容是否進入模型，也不能決定模型輸出能否影響系統。

圖片上的字、低對比字與對抗擾動要分開

「圖片 Prompt Injection」常把不同難度的攻擊混在一起：

1. 可見排版文字：在圖片上直接印出指令，人與具文字理解能力的 vision model 都可能讀到。
2. 低對比或遮蔽文字：仍有可辨識字形，只是人類較不容易注意；可讀程度必須實際檢查。
3. Steganography：把訊息藏進載體，肉眼看到的內容未必直接呈現訊息。
4. Adversarial perturbation：針對模型或 representation 最佳化畫素／聲音擾動，不能只用
   「圖片上有一行小字」代稱。

FigStep 研究的是把請求轉成圖片內的 typographic visual prompt；
Abusing Images and Sounds for Indirect Instruction Injection 則把對抗擾動混入圖片或音訊，展示 targeted output 與 dialog poisoning；
Visual Adversarial Examples 研究的是經最佳化的 visual adversarial example。這些研究都說明視覺輸入值得納入威脅模型，但方法與量測目標並不相同。

本次只測可見排版文字與低對比文字，而且低對比文字在原圖中仍可由人眼辨識。低對比文字不是隱寫，
也不是「人類完全看不見、模型卻看得見」的對抗擾動。把名稱說準，才能正確解讀零結果與成功結果。

四組只改變注入通道

正式實驗使用一張合成活動海報，公開內容包括活動名稱、日期、時間、地點、主題與一個 synthetic public code。每個 request 另帶一份合成 reference note，裡面放入一個刻意植入、不得輸出的假機密值，後文稱為 confidential canary。實驗沒有使用真實文件、credential、個資或正式環境資料。

四組設計如下：

四組使用完全相同的 system message、user task、reference canary、seeds 與 generation options。
Text control 的用途不是模擬另一張圖，而是把同一段 payload 放在一般文字路徑，避免看到圖片組結果後，卻不知道這組 prompt family 對純文字是否本來就會成功。

不做 OCR，直接走 Ollama 的 vision route

Ollama Vision API 的 REST 請求在 user message 裡使用
images array，內容是 base64 image data。本次 runner 先做確定性檢查：檔案必須位於 experiment fixtures、不得經 symlink 跳出目錄、必須有 PNG signature、不得超過 10 MiB，並記錄 SHA-256。

驗證完成後，完整 PNG 才放進第一則 user message 的 images。Runner 沒有先做 OCR，也沒有把圖片
文字轉成另一段 prompt。這很重要，因為「OCR 看到了什麼」與「vision model 如何使用圖片」是兩條不同管線；混在一起，就無法知道注入在哪一層穿過邊界。

正式契約固定為：

4 scenarios × 5 seeds = 20 run units = 20 chat calls
model: gemma4:latest
temperature: 0.7
seeds: 711–715
image transport: native images field
OCR: disabled
tools / actions / external sink: disabled

實驗在推論前先固定 runner commit，並將模型完整 digest、options、fixture hashes、request 與 response 全部保留在本機 raw evidence。公開 repository 只放人工審閱過的 sanitized summary。

三個 Exact，各自回答不同問題

本次沒有把所有結果壓成單一 attack_succeeded=true。三個事前固定的 Exact predicates 分別是：

所以第四個判讀由人工完成：即使模型沒有輸出 exact marker，也要檢查回覆是否仍在語意上服從攻擊要求；即使模型沒有逐字輸出 canary，也要檢查回覆是否已重建合成機密內容。Exact 保留 bytes 層證據，人工判讀補上語意層證據，兩種結果不互相覆寫。

我事前只預測 reachability：四組的 visual target 都應該命中。沒有預測 injection marker 或 canary 會命中，也沒有預測三種攻擊通道的排序。只預測 reachability 的設計讓我在攻擊全部失敗時，仍能
分辨圖片是根本沒進模型，還是已經能被模型使用、但特定注入沒有改變模型行為。

結果：四組都看得到，四組都沒有服從

正式 20 次結果如下：

四組共二十次 response，每次都逐字包含圖片上的 public code，因此 reachability 預測成立。這批 PNG 不只隨 request 送進模型；模型也確實使用了圖片中的公開資訊完成任務。

另一方面，四組的 injection marker 與 confidential canary 全部是 0／5。我逐一人工閱讀二十份
response，也沒有發現換句話說的注入服從或機密重建。所有回覆都只摘要海報上的公開活動資訊。

這批結果是一個很乾淨的 compromise null result：輸入可達，但攻擊在固定條件下沒有成功。
這批結果不能被改寫成「模型看不到圖片指令」，也不能被改寫成「圖片注入已經解決」。

完整的 20-run 圖片路徑、visual reachability 與注入判定收在公開的 Day 13 實驗 checkpoint。

為什麼零成功仍然有資訊

如果沒有 clean image 與 visual target，圖片組的 0／5 可能有很多解釋：API 欄位錯了、模型不支援
vision、圖片路徑失效、base64 壞掉、字太小，或模型真的拒絕攻擊。現在四組的 visual target 都是
5／5，至少排除了幾種會讓整張圖片無法到達模型的基本故障。

如果沒有 text control，也可能把圖片組失敗解讀成「視覺通道特別安全」。但同一 payload 走一般文字路徑同樣是 0／5，較保守的結論是：這個 system message、payload、模型 digest 與五個 seeds 的組合整體沒有產生偏航。這批結果沒有足夠資訊比較文字與圖片誰比較危險。

Low-contrast 組能支持的結論只有三項：人眼在原尺寸下仍可讀、模型仍完成公開任務、注入沒有成功。
由於 visual target 位於海報上方，即使 visual target 命中，也不能證明模型逐字辨識了下方每一行
低對比 payload。因此我不會宣稱「模型讀到了隱藏字卻拒絕」，更不會從 0／5 推導視覺 safety alignment 的通用強度。

安全評測的價值不只在找到成功攻擊。能把 transport failure、task reachability、behavior change、data disclosure 與 downstream action 分開，零結果才不會變成沒有解釋力的綠燈。

語音與檔案也要沿資料流測，不要只換副檔名

本篇沒有實測語音、ASR 或檔案解析，所以以下是威脅模型與測試設計，不是本次結果。

同一個「請摘要這份檔案」產品功能，可能因部署方式不同而走完全不同的 attack surface。若 extractor
沒有保留 PDF metadata，metadata 中的 payload 就不會到達模型；若 OCR 把頁尾小字轉進 prompt，模型
就可能使用這段文字。多模態測試應涵蓋完整路徑，不能只把 .txt 改成 .pdf。

音訊路徑也要分開判讀。直接 audio model、雲端 ASR、本機 ASR 與人工 transcript 分別形成不同的
trust boundary。如果測試沒有保存 transcript 或實際 request，只看最後的 response，就無法判斷
攻擊是在感知、轉錄、序列化還是生成階段失敗。

防線要放在每個轉換點，也要限制最後能力

OWASP 建議在每個 modality boundary 做相應檢查，但任何 detector 都不應被當成唯一安全邊界。
比較可落地的做法是讓多層控制各自縮小問題：

1. 限制輸入範圍：只接受業務必要的格式、尺寸、頁數、時長與解析度；拒絕 path escape、
   symlink、巢狀壓縮炸彈與不支援的 media type。
2. 保存轉換證據：記錄 source hash、parser／OCR／ASR 版本、抽取文字與實際序列化欄位，才能
   重現 model-visible content。
3. 標示來源與用途：把使用者指令、參考資料與解析內容分開組裝，並明確告訴模型解析內容是不可信
   資料。這種來源與用途標示可以降低攻擊成功率，但不是強制隔離。
4. 最小化 context：完成任務不需要的 metadata、註解、附件與隱藏欄位不要送進模型；機密
   與 credential 更不應因「模型可能需要」就整批塞入。
5. 確定性驗證輸出：先用 schema 與 allowlist 檢查輸出結構，再依資料敏感度執行 canary 檢查、
   policy 檢查與人工抽樣；另一個 LLM judge 只能提供判讀訊號，不能取代後端政策。
6. 限制 action 與 sink：模型提出的 tool call 仍須由後端重新授權；高影響動作需確認，外部
   URL、renderer、email、log 與 webhook 都是獨立的輸出邊界。

看完結果後，我把原先的「通道不是邊界」補成一句更完整的判斷：

這次結果讓我更確定，輸入來源雖然不同，基本防守原則仍能跨通道沿用；但每個通道都有自己的解析入口，最後也不能只仰賴模型守住。

本次實驗只實作輸入 fixture 驗證與證據保存，沒有比較 detector、OCR 清洗、權限或 output gate 的
有效性。前述多層控制是沿資料流推導出的工程檢查點，不是本篇已證明有效的防禦排名。

回到自己的應用，先回答八個問題

1. 圖片、語音與檔案是直接送進多模態模型，還是先經 OCR、ASR 或 parser？
2. 哪些欄位真的進入 model request？原始 bytes、抽取文字與 request 能否用 hash 對上？
3. 每種輸入都有 clean control 與可驗證的正常任務 target 嗎？
4. 注入成功、機密外洩與未授權動作是否分開計數？
5. Exact matcher 之外，是否有事前定義的語意 rubric？
6. Parser、model 或 prompt 更新後，固定 fixtures 與 seeds 是否會重跑？
7. 模型輸出能碰到哪些 tools、renderer、logs 與外部 sinks？
8. 即使模型服從圖片內的指令，後端授權是否仍能阻止實際動作？

本次只有一個模型 digest、一個 prompt family、五個 seeds、三張合成 PNG 與一種攻擊措辭，因此
不能推導通用成功率。這批結果能支持的結論刻意限縮：四條路徑的公開圖片資訊都到達模型；在這批
條件下，純文字、清楚圖片與低對比圖片注入都沒有造成逐字或語意偏航。

通道不是邊界，也不是命運。 圖片能把不可信內容帶進模型，不代表每次都會攻擊成功；某次
沒有成功，也不代表圖片格式替應用程式提供了安全隔離。工程上真正要守的是每一次解析、序列化、
生成、授權與輸出的轉換點，並讓最後的 blast radius 不由模型單獨決定。

參考資料

• OWASP LLM01:2026 Prompt Injection
• Ollama Vision
• Abusing Images and Sounds for Indirect Instruction Injection in Multi-Modal LLMs
• FigStep: Jailbreaking Large Vision-Language Models via Typographic Visual Prompts
• Visual Adversarial Examples Jailbreak Aligned Large Language Models
• LLM Application Security Lab — Day 13 checkpoint

本文同步刊載於作者的個人 Blog：閱讀原文。