鐵人檔案
將以 「AI語音辨識系統：結合聲紋分析與情緒識別」 為主題，分享我在 2024 年 AI 競賽的成果。當時與 AI 工程師 Shin-Fu與軟體工程師 Shirley組隊，參加由數位發展部數位產業署主辦的比賽，挑戰透過語音分析提升教學品質，最終獲得首獎（特優獎）。我們的系統能結合聲紋特徵與情緒辨識，分析師生互動中的情緒變化，作為教學品質監控的依據。這次鐵人賽將以 30 天系列文，分享從資料處理、模型設計到應用實作的完整過程，帶大家看 AI & Data 如何真正落地應用。
▋前言 2024 年我與團隊參加了由 數位發展部數位產業署 舉辦的 AI 競賽，挑戰題目來自於線上英文教學平台。我們希望能運用 AI 語音辨識系統，協助平台自...
▋前言 線上課程已經成為教育新常態，但它並非完美。老師與學生之間的互動、學生的專注度與學習情緒，都很難單靠人力來判斷。這正是我們要解決的痛點。 ▋內容 根據...
▋前言 針對線上教育的痛點，我們設定了三大解題目標，並將系統定位為「教學品質監控工具」，協助老師、學生與平台三方受益。這篇除了介紹設計目標外，也會提前分享部分...
▋前言 為了達成前一篇（Day 3）提到的目標，我們設計了一個整合式架構，包含四大核心模組，每一個模組都解決了一個關鍵問題。 ▋內容 系統由以下模組組成：...
▋前言 語音轉文字是整個系統的基礎。如果逐字稿不準確，後續的語者分離與情緒分析都會失去價值。 ▋內容 我們採用了 Whisper 作為 STT 模型，原因有...
▋前言 在完成語音轉文字後，下一個問題是「誰在說話？」。如果系統無法區分老師與學生的發言，逐字稿與互動分析的價值就會大打折扣。因此，我們在系統中設計了「語者分...
▋前言 在 Day 6，我們已經能把不同的說話者分離出來。但若要應用於教育場景，還必須回答更重要的問題：「誰是老師，誰是學生？」這就是講者辨識 (Speake...
▋前言 除了逐字稿與講者標註，另一個重要維度是「學生情緒」。在課堂中，老師能從表情、動作感受到學生反應；在只有語音的情況下則需要 AI 來幫忙做語音情緒辨識...
▋前言 在 Day 4–Day 8，我們逐一介紹了四大核心模組。今天要將這些模組整合起來，展示完整的 系統架構與資料管線，並透過流程圖呈現「從輸入到產出」的全...
▋前言 昨天介紹完了語音辨識系統的完整架構，但其實在開發過程中，我們嘗試過多種模型與方法。透過一次次的錯誤修正與迭代，才逐漸建立起最後的成果，今天就來說說過程...
