鐵人檔案
MetaAI推出功能強大的SeamlessM4T統整型轉譯系統，包含ASR、T2TT、S2TT、T2ST及S2ST五種模型，幾乎包含了所有語音辨識模型於其中，適合作為語音辨識學習的範例，故研究其架構及應用。本參賽內容預計涵蓋簡介，ASR、T2TT、S2TT、T2ST及S2ST五種模型程式碼架構及其應用面使用。
所謂的單元(Unit)是指音頻訊號的分析和表示的基本單元，可視之為音訊數據的小塊或小段，通常包含數百至數千毫秒的音訊信號。在語音處理和音訊處理中，將長時間的音訊...
在SeamlessM4T的開源程式碼中，其實還是有保留S2U(Speech-to-Unit)的功能，在audio_to_units的scripts中可以看出其架...
訓練自己的HuBERT模型，試著使用自己的資料集，練習HuBERT的過程。 資料集準備 遵循 ./simple_kmeans 的步驟(連結)準備以下資料：...
Transformer模型包含了注意力（attention）及自注意力（self-attention）且不斷發展技術，可以偵測一個序列中用特別的方式相互影響和相...
Conformer(Convolution-augmented Transformer)為卷積增強型Transformer模型，Transformer的自注意力...
挑戰Kaggle：Bengali.AI Speech Recognition-Recognize Bengali speech from out-of-dist...
若仔細研究UnitY Model中的組成，有語音編碼及解碼器(包含前級)、文本編碼及解碼器(包含前級)、投影層以及文本轉unit模型，UnitY Model的結...
本文介紹 Attention Is All You Need 論文，發表於 NIPS 2017。其程式碼架構主要是Seq2Seq，還有self-attentio...
根據 Attention Is All You Need 論文，節錄並了解其訓練模型細節，作為自行訓練模型時的參考。 訓練資料和批次 使用標準 WMT 2014...
SeamlessM4T的語音數據處理流程不複雜，前置作業有二：1) 用SeamlessAlign將原始音頻數據做前處理，區別數據中的語言，並對齊數據的長度、維度...
