鐵人檔案
將以 「AI語音辨識系統：結合聲紋分析與情緒識別」 為主題，分享我在 2024 年 AI 競賽的成果。當時與 AI 工程師 Shin-Fu與軟體工程師 Shirley組隊，參加由數位發展部數位產業署主辦的比賽，挑戰透過語音分析提升教學品質，最終獲得首獎（特優獎）。我們的系統能結合聲紋特徵與情緒辨識，分析師生互動中的情緒變化，作為教學品質監控的依據。這次鐵人賽將以 30 天系列文，分享從資料處理、模型設計到應用實作的完整過程，帶大家看 AI & Data 如何真正落地應用。
▋前言 在完成資料探勘後，我們接下來要進入實驗設計階段。這一階段的目標是：定義清楚的實驗目標、輸入與評估方式，確保後續的測試與模型比較能有一致性與可信度。 ▋...
▋前言 要檢驗 AI 語音系統的表現，不能只看準確率。每一個模組都有不同的評估方式。今天我們聚焦兩個核心指標：WER（Word Error Rate） 與 D...
▋前言 在 Day 22 我們介紹了語音與語者層面的評估。今天的焦點是「情緒辨識 (Speech Emotion Recognition)」的評估方式，以及如...
▋前言 在使用 AMI Meeting Corpus 進行語音分析實驗時，發現一個重要的問題：逐字稿 (ES2002a.Mix-Headset.txt) 裡的...
▋前言 延續昨天的討論，我們已經確定「語者標籤錯位」是由於 embedding 比對排序與 NeMo 輸出順序不一致 所造成。今天我們要嘗試修正這個邏輯，讓語...
▋前言 在前幾天的實驗中，我們使用了 Switchboard 資料集來測試系統的多講者辨識能力。然而，這次遇到了一個特別的狀況：我們取得的音檔並非「混音版本」...
▋前言 延續昨日的分析，今天我們實際嘗試修正雙人獨立錄音的處理方式，讓系統能正確識別「誰在說話、何時說話、以及雙方的情緒互動」，這是語音 AI 應用落地的重要...
▋前言 在 Switchboard 實驗後，我們將語音辨識系統套用至 IEMOCAP（Interactive Emotional Dyadic Motion...
▋前言 昨天我們驗證了系統在 IEMOCAP 對話的靜態情緒分類表現。今天要更進一步觀察整段對話的「情緒曲線」，看看系統能否捕捉人物情緒的起伏與轉折，這對教育...
▋前言 30天前，我們從一個簡單的構想出發：「如果能自動分析老師與學生在課堂中的語音互動，是否就能幫助教育平台更客觀地評估教學品質？」 這個構想已被實作成一套...
