iT邦幫忙

鐵人檔案

2026 iThome 鐵人賽
回列表
佛心分享-SideProject30

打造台語發音檢測系統:可憐大四生的專題實錄 系列

從升上大三開始,我因為一個台語發音學習的想法,開始閱讀相關研究並撰寫國科會大專生研究計畫,之後逐漸將這個研究構想發展成現在的畢業專題。這 30 天將整理這一年實際做專題的過程,從語音資料整理、標籤與變調處理,到 ASR 模型訓練、CTC、錯誤分析與聲學特徵分析,記錄一個大學生如何從研究構想一路摸索到實作,以及過程中遇到的各種問題。

參賽天數 11 天 | 共 11 篇文章 | 0 人訂閱 訂閱系列文 RSS系列文
DAY 1

Day 1|我台語這麼爛,怎麼敢投國科會的?

前言 先承認一件事。我其實沒有很會講台語。但我現在正在做一套台語發音檢測系統。聽起來是不是哪裡怪怪ㄉ?一個台語沒有很溜的人,為什麼會想做台語發音檢測?而且,真的...

DAY 2

Day 2|去年嫌訓練資料太貴,今年才發現學生只要 3,000 元

既然要做的是台語發音檢測,那第一個問題就是現在到底有沒有現成的台語 AI 可以用? 結果第一個發現就是有資料,但不是我想下載就能直接下載的。 😔 先說說目前有哪...

DAY 3

Day 3|原本以為可以撿現成,最後還是要自己訓練

上一篇講到,我最後選擇從教育部《臺灣台語常用詞辭典》取得台語詞彙與語音資料。但真正把資料下載下來之後,我才發現,有資料跟資料可以直接拿來用,是兩回事。 歡迎來到...

DAY 4

Day 4|人生中第一次微調:99.34%,然後我發現事情不太對

前面把模型下載下來、確認可以跑之後,下一步當然就是把自己的資料真的拿去訓練。我一開始也是很擔心自己沒經驗,沒什麼先備知識怎麼辦。不過好像比想像中簡單,畢竟我在開...

DAY 5

Day 5|Colab 額度不夠啦!為什麼3050筆電訓一次模型要16小時ヽ(#`Д´)ノ 我需要免費GPU

Colab GPU 額度沒了,還有其他資源嗎? 第一次微調完成後,我開始嘗試多音節測試。雖然單音節的結果證明模型能跑,但真正的挑戰才剛開始。 我原本都在 Goo...

DAY 6

Day 6|都整理出一萬多筆資料了,結果你模型越學越爛(╬◣д◢)

前面幾天已經提到多音節訓練,但真正開始整理資料時,我才發現手上的資料並不是拿來就能直接使用的。 當時手上的多音節資料主要是從 kaudian.ods 整理出來。...

DAY 7

Day 7|Unicode 危機:[UNK] 是什麼?NFC、NFD 又是什麼?怎麼沒人跟我說模型訓練還要管這些?

重新訓練 V3 的意外:[UNK] 現身 上一篇最後,我提到自己因為開始重新思考 CAPT 的本質,所以決定重新訓練 V3。 結果 V3 跑完之後,我在辨識結果...

DAY 8

Day 8|Codex開大,但是全程做白工(´థ౪థ)

接上一篇,我終於把 Unicode 問題修正了。 修正後,我重新訓練出 v5。當時我的重新測試方法其實很簡單粗暴:直接拿模型已經訓練過的資料重新辨識,看看它到底...

DAY 9

Day 9 終於揪出罪魁禍首!但是為什麼我介紹套件介紹到開始口音大戰。這不是畢專嗎?拜託停手!

今天來分享一個因為語言學知識不足,導致模型出現重大偏誤的故事。 沒錯,我的台羅標註又出錯了(第 n 次)。 不過好消息是,我終於有辦法徹底解決這個問題了。 先來...

DAY 10

Day 10 圖解大破程:Hugging Face 模型在訓練前資料被怎麼處理

今天這篇文章我來講解一下我的模型在訓練前資料被怎麼處理的。 我原本這篇想把我的模型演變歷史整理出來,不過在我講到參數時。我突然想順便講我的訓練程式在幹嘛。於是這...