iT邦幫忙

2026 iThome 鐵人賽

DAY 1
1
Build on Google AI

給藥袋裝一張嘴:30 天用 Android 與 Google VLM 實作高齡語音用藥助手系列 第 1

Day 01|給藥袋裝一張嘴:為什麼傳統 OCR 不夠,我們需要 Google VLM?

  • 分享至 

  • xImage
  •  

✏️【本日實作紀錄:API Key 申請與系統環境設定】

  1. 申請 Google Gemini API Key(免付費):在 Google AI Studio 建立開發金鑰,準備用 Python 串接 Google VLM。(請妥善保存這個 Key,創建好之後,跳出來的帳號及密碼請選擇拍照或備份,記得切勿外洩你個人資訊,之後 Python 串接 VLM 會用到。)
    🔗 https://aistudio.google.com/api-keys (點擊此連結去創建鑰匙)

    步驟 1:點擊右上角的「建立API鑰匙(Create API Key)」
    https://ithelp.ithome.com.tw/upload/images/20260915/201837303YsXhCbCYX.png
    步驟 2:接著點擊「取鑰匙名稱(Create a new Key)」,再選擇「創建專案(Create project)」。
    記得創建時的專案名稱取名為(PrescriptionVLM)
    https://ithelp.ithome.com.tw/upload/images/20260915/20183730VGdcdRiT87.png
    步驟 3:創建好後,重新點擊「選擇一個導入的項目(Choose an imported project)」,並且選擇剛剛創建好的新專案「處方VLM(PrescriptionVLM)」。
    https://ithelp.ithome.com.tw/upload/images/20260915/20183730VUS6dT3DrQ.png

  2. 建立專案開發目錄:在自己電腦的桌面上新建 PrescriptionVLM 資料夾。
    https://ithelp.ithome.com.tw/upload/images/20260915/20183730MvN8ywvsWN.png

  3. 設定 Git 版本控制:執行 git init 初始化,推送到 GitHub,確保程式碼與資料能同步。
    🔗 https://github.com (若尚未註冊過GitHub帳戶,可以先點擊此連結去註冊帳號。)

先進入終端機:

❗️確保路徑在 PrescriptionVLM 資料夾❗️

1.初始化本地 Git:

git init

2.新增 GitHub 遠端連線:

git remote add origin https://github.com/"去掉雙引號 改輸入你的GitHub名稱"/PrescriptionVLM.git

3.切換主要分支名稱:

git branch -M main

4.追蹤所有檔案並進行第一次 Commit:

git add .
git commit -m "保留雙引號 改填寫自己要記錄的標記 ex.鐵人賽第一天"

5.推送到 GitHub 雲端:

git push -u origin main

一、 前言與題目初衷

高齡人口用藥安全是當前社會的重要問題。許多銀髮族每天需要服用多種慢性病藥物,但藥袋上的醫囑、用法與警語對於視力退化或識字能力有限的長輩來說很難理解。

傳統 App 加 OCR 技術可以掃描藥袋,但有實際限制。藥袋常有摺痕、反光或排版複雜,導致 OCR 識別錯誤。更重要的是,OCR 只能識別字元,無法理解文字背後的語義和醫療邏輯。它無法把「每日三次,飯後服用」這類專業用語轉成長輩聽得懂的說法,本專案旨在解決這個問題。

二、 為什麼選擇 Google VLM (視覺語言模型)?

VLM(Vision Language Model,視覺語言模型)是多模態 AI 技術。Google 的模型(Gemini / Gemma 系列)能同時處理視覺和文字。

相比傳統 OCR,VLM 的優勢是:它可以在藥袋有摺痕或模糊時,根據上下文推斷正確的藥名與劑量;它不只讀字,還能把生硬的醫囑改寫成白話;它可以分析藥丸的外觀(顏色、形狀)與文字說明,降低拿錯藥的風險。

三、 系統核心架構與 30 天目標

接下來 30 天要建立一個端到端的系統:

Python 後端:架設 RESTful API、呼叫 Google VLM、轉換語音檔(TTS)、管理 SQLite 用藥歷史,以及透過 LINE Notify 推播給家屬。

Android 前端:為高齡使用者設計無障礙 UI(大字體)、支援拍照上傳、即時語音播報,以及用 AlarmManager 設定吃藥提醒。

四、 本日小結與明日預告

今天確立了題目方向,完成了 API Key 申請與開發環境設定。

明天(Day 02),我們將畫出系統架構圖,說明 Android 前端與 Python 後端如何協同運作。


下一篇
Day 02|別讓長輩猜藥吃!高齡語音用藥助手的雙端系統架構設計
系列文
給藥袋裝一張嘴:30 天用 Android 與 Google VLM 實作高齡語音用藥助手2
圖片
  熱門推薦
圖片
{{ item.channelVendor }} | {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言