iT邦幫忙

鐵人檔案

2023 iThome 鐵人賽
回列表
自我挑戰組

深度學習的學習 & ASR 中文語音辨識 系列

我把在 Coursera 上的 Neural Network & Deep Learning 課程的筆記整理出來,會挑出我有興趣的東西來寫,希望能幫助到同在機器學習這條船上的人們。
同時也會實作 ASR 中文語音辨識,以 Whisper 為主,透過 huggingface 社群強大的力量讓模型產出更好的結果,這段生模型的過程也是有不少東西可以講呢。

鐵人鍊成 | 共 30 篇文章 | 2 人訂閱 訂閱系列文 RSS系列文
DAY 21

【Day 21】WER/CER 簡單介紹

當你今天是個可憐的學測生,正在準備數學這科,好不容易寫完一張數學考卷時,在把它燒掉之前還是會想知道自己寫得好不好因此,就會把解答拿出來批改考卷,最後算出數學成績...

2023-10-06 ‧ 由 leo271828 分享
DAY 22

【Day 22】CER 的使用方法

今天國慶連假的第一天,看來要小心一下發文進度 模型準備 我今天是用志祺七七他們這支影片作為音檔來源 levels:同樣用 small, medium 的 W...

2023-10-07 ‧ 由 leo271828 分享
DAY 23

【Day 23】Fine-tuning 的一些準備 - huggingface

上一篇提到我們的模型出來的 CER 並不是非常理想,因此為了讓模型轉錄出來的結果更好,我們需要對模型進行 Fine-tuning,也就是微調我們的模型 在那之前...

2023-10-08 ‧ 由 leo271828 分享
DAY 24

【Day 24】Fine-tuning 的一些準備 - huggingface 上的 Whisper model

就像上一篇說的,huggingface 上有許多模型可以下載來玩我們就來實際玩看看 huggingface 上的 openai/whisper-small 做為...

2023-10-09 ‧ 由 leo271828 分享
DAY 25

【Day 25】Fine-tuning 的一些準備 - huggingface 上的 Whisper model (cont.)

結果發現我在搞耍,前面的 librosa 下載到 base 環境補完之後依舊出現了其他問題 RuntimeError: Decoding 'mp3' files...

2023-10-10 ‧ 由 leo271828 分享
DAY 26

【Day 26】Whisper model 的快樂 Fine-tuning 時間

鐵人賽也到了尾聲,也該把重要的東西寫一寫了 接下來 Fine-tuning 都是以這篇文章的內容下去實作,可以在 openai/whisper 系列的 Fine...

2023-10-11 ‧ 由 leo271828 分享
DAY 27

【Day 27】Whisper model 的快樂 Fine-tuning 時間 - 2

其實我本來想做專屬自己的 fine-tuned model,但後來考慮到不是每個人都有資料集就想說算了,我們乖乖 fine-tune 中文版的語音模型就好 接著...

2023-10-12 ‧ 由 leo271828 分享
DAY 28

【Day 28】Whisper model 的快樂 Fine-tuning 時間 - 3

你以為我要說怎麼把自己的資料轉成 Datasets 相符的格式嗎?不要。要準備資料好麻煩所以我就繼續講下去囉這邊可以用一個變數來表示我們要 fine-tune...

2023-10-13 ‧ 由 leo271828 分享
DAY 29

【Day 29】Whisper model 的快樂 Fine-tuning 時間 - 4

再來是處理 Evaluation Evaluation Metrics 如前面提到,我們現在在做的是中文 ASR 所以這裡要用 CER 來做為評估方式 impo...

2023-10-14 ‧ 由 leo271828 分享
DAY 30

【Day 30】Whisper model 的快樂 Fine-tuning 時間 - Final

前面的訓練過程,如果順利應該會長成下面這樣我上面的參數: max_steps=10 save_steps=5 eval_steps=5 想說給大...

2023-10-15 ‧ 由 leo271828 分享