iT邦幫忙

2026 iThome 鐵人賽

0
AI 自動化

實戰打造個人專屬 AI 自動化工作流:從零建立高效生產力系統系列 第 29 篇

視覺與文字的完美融合:打造 AI 學生助手多模態影像解析助理

  • 分享至 

  • xImage
  •  

一、 前言
在前面 28 天的旅程中,我們陸續完成了對話、文字筆記、語音朗讀、隨堂考、番茄鐘、知識圖譜、RAG 多講義問答、錯題診斷、儀表板與成就徽章。但在真實學習場景中,學生經常遇到的是「課本上的算式圖表」、「考卷題目照片」或是「老師手寫的白板筆記」。今天,我們要導入 Gemini 強大的多模態(Multimodal)視覺能力,讓學生拍照就能輕鬆發問!
二、 核心技術與實作亮點
1.PIL 圖像處理與預覽:
整合 Pillow (PIL) 模組處理使用者上傳的各種圖片格式(JPG/PNG),並在 Streamlit 前端提供即時影像預覽。
2.Gemini 視覺多模態 API 串接:
透過 client.files.upload 將圖片物件打包傳送至 Gemini 2.5/3.8 模型,實作「圖文混合提示詞(Image + Text Prompt)」的強大推理。
3.無縫學習場景覆蓋:
不論是解題、流程圖說明還是手寫字跡辨識,都能在一秒內取得極具條理的解答與分析。
三、實作
在 pages 資料夾中,新增一個新檔案並命名為:10_📸_多模態全能助理.py
https://ithelp.ithome.com.tw/upload/images/20261018/201843566LlamgyoXt.pnghttps://ithelp.ithome.com.tw/upload/images/20261018/201843565lCFruG383.pnghttps://ithelp.ithome.com.tw/upload/images/20261018/20184356aWUcw34hes.png
四、成果展示
https://ithelp.ithome.com.tw/upload/images/20261018/20184356S72jQk5zBY.png
五、 結語
今天我們成功補齊了視覺多模態這塊最關鍵的拼圖!


上一篇
遊戲化學習體驗:打造 AI 學生助手成就徽章與激勵系統
下一篇
AI 智慧學生助手 30 天大滿貫開發之旅全紀錄與完賽總結
系列文
實戰打造個人專屬 AI 自動化工作流:從零建立高效生產力系統 共 30 篇
圖片
  熱門推薦
圖片
{{ item.channelVendor }} | {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言