鐵人檔案
剛當AI工程師兩年，希望將自己兩年來所學記錄下來，並且能幫助到剛升到研究所的學弟妹。
本挑戰預計帶給大家:
1. 以pytorch lightning 框架寫出一個屬於自己的model
2. 資料缺乏，如何利用爬蟲收集音檔文字...
3. fastapi + docker deploy
想當初剛進實驗室的時候，第一件遇到的事就是怎麼使用記中的server，通常大家共同使用的server都會灌一個名為docker的小鯨魚，目的就是為了讓大家各自建...
前情提要: 昨天透過docker run 的方式起了一個包含pytorch及cuda的container環境，當中透過-v來做連結的概念，通常我習慣連結到con...
在container內部，有時候需要跑多個程式，但每個程式環境不一樣的話，有以下幾種方法，那我自己如果只是測試某個程式，我會用venv的方式來做，就可以用上一篇...
前情提要: 昨天透過了 web 的開發者模式找到 mp3 的實際音檔，但整個過程都是手動操作，有什麼辦法才能爬取到全部的音檔呢? 一開始我的想法是 主頁(ht...
前情提要: 昨天已經把所有的DJ名稱和url儲存到mp3_urls.txt，今天我們將透過多個thread來並行下載，增加下載的速度。 1. 下載mp3 這裡...
今天我們終於要來細談pytorch當中的Dataset，因為本人是在語音AI公司上班，所以對於影像方面並沒有研究，以下例子主要為文字與聲音。 強烈建議跟著一行行...
前情提要: 昨天我們已經透過get_item將txt裡面的路徑跟label讀進來了，那麼接下來就是要處理data的問題。 1. 處理音檔 接下來我們將音檔loa...
前情提要: 昨天已經大致上把Dataset的部分講完了，舉了一個以聲音為主的範例，如何從txt裡面load對應的音檔，最後讓size保持一致。 今天開始介紹py...
前情提要: 昨天已經完成model.py, dataloader.py, 我自己習慣分成這兩個檔案，因為等到之後model的code越來越多，已經不適合跟tra...
前情提要: 昨天基本上已經把大部分的code都寫完了，應該可以感受到lightning的簡潔。 1. loss_fn 在training_step跟valida...
