剛開始研究 deep learning 時，正好是 AlphaGo 跟南韓棋士李世乭對戰(2016年3月8日到3月15日)的前一兩個月，那時我們小組嘗試用 CNN(卷積神經網絡)來做藝術畫的風格分類，想想也已經是兩年前的事了。

上一篇中曾提到 AI 不是新的概念，而深度學習(Deep Learning)也是。深度學習是由加深層數後的多層神經網絡所組成，有一說法是當 Hidden Layer 超過三層的話就稱為 Deep Neural Network。然而，神經網絡早在1943年就由神經科學家 W.S.McCilloch 和數學家 W.Pitts 所提出，希望計算機模擬人的神經元反應的過程，但是因為算法、運算能力等侷限性沉寂了好長一段時間，在近年 Big Data 浪潮與計算機運算能力的提升等助力推波助瀾下，讓深度學習重新站上研究的主流位置，各種深度學習的應用如雨後春筍般冒出，大家對這塊領域充滿希望與期待，就像想成為海賊王一般地瘋狂追尋 ONE PIECE。

這篇引領見習魔法使們一覽深度學習中的魔法陣們：

圖片來源：http://www.asimovinstitute.org/neural-network-zoo/

沒在開玩笑吧，真的很像魔法陣，看看這些神經元組成的各式網絡結構多美啊！

接下來的系列文章將為各位帶來各式魔法陣的解說，內容涵蓋：

1. Artificial Neural Network (ANN)

   • [魔法陣系列] Artificial Neural Network (ANN) 之術式解析
   • [魔法陣系列] Artificial Neural Network (ANN) 之術式啟動
   • [實戰系列] 使用TensorFlow搭建一個 ANN 魔法陣（模型）

2. Convolutional Neural Network (CNN)

   • [魔法陣系列] Convolutional Neural Network（CNN）之術式解析
   • [魔法陣系列] 王者誕生：AlexNet 之術式解析
   • [實戰系列] 使用 Keras 搭建一個 CNN 魔法陣（模型）

3. Recurrent Neural Network (RNN)

   • [魔法陣系列] Recurrent Neural Network（RNN）之術式解析
   • [實戰系列] 使用 Keras 搭建一個 LSTM 魔法陣（模型）

4. AutoEncoder

   • [魔法陣系列] AutoEncoder 之術式解析
   • [實戰系列] 使用 Keras 搭建一個 Denoising AE 魔法陣（模型）
   • [魔法陣系列] AutoEncoder 之應用場景

5. Generative Adversarial Network (GAN)

   • [魔法陣系列] Generative Adversarial Network（GAN）之術式解析
   • [魔法陣系列] Generative Adversarial Network（GAN）之應用場景
   • [實戰系列] 使用 Keras 搭建一個 GAN 魔法陣（模型）

6. Deep Q Network（DQN）

   • [魔法陣系列] Deep Q Network（DQN）之術式解析
   • [實戰系列] 使用 Keras 搭建一個 DQN 魔法陣（模型）

7. 精進魔法系列

   • [精進魔法] Regularization：減少 Overfitting ，提高模型泛化能力
   • [精進魔法] Optimization：優化深度學習模型的技巧（上）
   • [精進魔法] Optimization：優化深度學習模型的技巧（中）－ Adaptive Learning Rates
   • [精進魔法] Optimization：優化深度學習模型的技巧（下）－ Batch Normalization
   • [魔王出沒] 深度學習中的魔王軍簡介

8. 魔法小報系列

   • [魔法小報] 深度學習 vs. 傳統機器學習
   • [魔法小報] 機器學習路上的強力支援們（網路學習資源推薦）
   • [魔法小報] Attention 機制的引進
   • [魔法小報] 用圖表呈現深度學習的商業應用價值
   • [魔法小報] 深度學習在電腦視覺（Computer Vision）的技術與應用
   • [魔法小報] 深度學習在自然語言處理（NLP）的技術與應用
   • [魔法小報] 深度學習在聊天機器人（Chatbot）的技術與應用

9. 前言與絮語

   • [序幕] AI（人工智慧）、Machine Learning（機器學習）、 Deep Learning（深度學習）是什麼？
   • [落幕結語] 第一次參加鐵人賽心得

除了解說各魔法陣的原理之外，也會額外撰寫搭配的運用情境，請各位見習魔法使們敬請期待！