組成的元件
使用Hugging Face務必要了解最重要的三大元件， 基本上各種任務的模型(語音辨識、影像分類、NLP…)， 都是離不開這三大元件的。
Transformers
顧名思義就是為了處理各種Transformer模型而開發的元件。
Tokenizers
我們都知道NLP的世界裡， 文字的最小的單位就是詞， 而要將文字化成詞的關鍵就是斷詞， Tokenizers就是扮演著這個角色， 提供了不同的策略也支援前處理、後處理。
Datasets
我們都知道AI訓練的重要養分來源就是資料集， 而Datasets元件就是扮演著如何將資料集管理好的角色， 並提供豐富的API(隨機分類、切割、整合pandas)， 讓我們更容易的處理資料。
iThome鐵人賽
看影片追技術