前言

HIYO!又是阿峻我啦~
不知從何時開始，Deep Learning 跟 AI 這兩個名詞好像越來越紅的樣子，紅到如果你沒聽過大家反而會覺得妳很奇怪XD從幾年前的 Alphago 打敗世界圍棋冠軍到後來 OpenAI 推出可以跟人類頂尖星海爭霸玩家一較高下的模型。AI 這個名子越來越像是一個稀鬆平常的 Tool, 平常到像是 Tree search 等 classic 的方法隨時享用就套個。而在這一股 AI 的浪潮來襲，或多或少我們都會去修個 AI 相關的課程，像是 Machine Learning 或者 Deept learning 等課程；或者去 Youtube 上看各個大神的影片講解(首推各位印度大神!!)以及上網自行 google 一些資源。但這樣東拼西湊的我們一路跌跌撞撞走到今天踩過的坑都還歷歷在目嗎?那個查半天的 grad 到底躲去哪了?那個熬夜想方法去 check 一切 tensor 的維度到底哪裡不合理?那個上網複製個指令貼到 code 裡結果就噴 error 到底為何壓QQQ?數不盡的辛苦淚交織著當年吵著買張 1080ti 不是去 training 而把特效全開的我們的青春。對此，面對著每年會經歷過一次崩潰的新生的我突然有個衝動，想要去記錄一下這一路走來到底有那些常見的坑我所步過。但這個系列沒有這麼厲害，不是多麼猛的巨作或者多麼精闢的精華，所以沒有豐富的內容可以跟大家說嘴，這個系列純粹只是興趣使然、廢文沒地方發以及吃太胖了手有點腫來加減動個減個手指肥，所以只是想簡簡單單的跟大家說說這一次我想寫些甚麼，方便大家快速判斷要不要關掉這個網頁 XD 對於大神們，我所經歷過的坑怕事只是無病呻吟吧XDDD (大神 OS : 這是坑!?那竹湖不就是太平洋了XDDD太平洋就銀河了XDDDD)

沒啥用的廢文，按下叉叉就對了!
- 阿峻 20190917

凹特爛

本系列文主要是想要從機器選擇系統環境建置到架設 model 、 training 到最後一些實務上可以討論的點，結合著這幾年當 DL 助教所遇到的各種神奇的錯誤以及不敢說最佳但大致 OK 的解法，各位路過的大神還請不吝惜給點正解 ><
ok 說到這裡，為了跟還沒有離開這個系列文的你盡可能解釋我想要講的主題，以下為以條列式的方式紀錄每個 Topic以及放一些小標作補充說明，就當作是許願也好，說不訂這個系列文打著打著我就懶了停更XD 而各個 Topic 基本上拿去 google 去查相關 key word 就可以查到一對巨巨寫的巨著>< 但最後註記一點，本系列不會細講數學，若是想看看 Deep learning 的數學的勇士還是請左上按叉去翻個Ian Goodfellow 的 "Deep Learning" 或者 CM Bishop 的 "Pattern Recognition and Machine Learning" 或者各校開授 DL 的教授開的課程XDDDD
以下不是奧特曼是凹特爛:

• 簡介
  • 就本篇廢文啦XD廢到不忍直視XD
• Python/環境
  • 基本的Python語法以及簡單的實作環境介紹，含機器挑選資訊以及灌好環境等等，有寫好參考 Script 別慌><
• Pytorch/Torchvision簡介
  • 介紹一下我們後續要用的知名 Deep learning library以及一些好用的官方資源庫，像是 torchvision 等。以介紹為主，順道有空的話來科普一下八卦XD 但基本上本章資訊去查 google 應該一堆。
• 各式經典 Model 介紹以及其應用
  • 主要去提一下四個基點且常見的 Model 類型:CNN 、 RNN 、 VAE 、 GAN ，數學依據情況看可以提多少，並且每個 Model 都會附上實作以及應用 Task，像是怎麼用 Pytorch 來刻一個能動的模型，使用 Torchvision 內建的 Dataset，然後一起重溫當年看著進度條咻咻咻的變長嘿嘿嘿傻笑的成就感，但同時也提一下常見的 Issue 以及相關 Paper 連結。
• Model 的優化/訓練小技巧/測試
  • 費盡千辛萬苦寫好 Model 並且跑完 Training 了，但那個 Performance 有時可悲到就像是要去跟教授咪挺的我，咪挺前信心滿滿但開咪時一扁就倒QQ 此章節就是想要來談談各個優化的方法以及一些 training / testing 的 issue，像是 overfitting 或者 underfitting 等等，還有紀錄一些有趣的 Training 小技巧、小工具啦，但講良心覺得你不如放一包乖乖比較有效(?
• Model Debug
  • 以前學基礎程式出錯不是自己底霸格就是求助教指出一條人生的明路XD，但隨著時間推移，我們底霸格的方法也可以更加的聰明，不用再像是年輕懵懂的我們每個變數都 print 看看XD(但不可否認這個很直接有效)，但那種自己 Dataflow 沒拉好 code import 錯 library 的那種請自行去看眼科謝謝><
• Model Deploy、GPU 簡介、數據觀察以及選擇
  • 說說 Model 的部署等議題，像是再跑的時候 GPU 的一些 issue ，求別像我學弟打開 Nvidia-smi 只會看溫度我真的很無奈，跟我說數字越多越大越猛 = = 還跟我說他想要看起來會發光的顯卡 XDQQQ
• 多GPU計算、分散式計算
  • 雖然俗話說有朋友贏一半，盡管現實中我沒有甚麼朋友QQ，但人家 GPU 沒像我這麼魯QQ 基本上我是看別人跟別人相處的模式寫個心得啦
• 比賽、練習、資源
  • 你是不是一直在想甚麼時候可以把這個網頁關掉換其他比較有用的網頁看看，有啦有啦這裡有紀錄一些啦
• 其他未定
  • 目前沒想到 XDDDD 等之後再說

好啦以上大概就這樣，但隨著心情會修修改改啦，總之歡迎訂閱~
那就看看這 30 天我可以寫多少囉XD
我們明天見!