人工智慧3

前言

系列文章簡介

大家好，我們是 AI . FREE Team - 人工智慧自由團隊，這一次的鐵人賽，自由團隊將從0到1 手把手教各位讀者學會 (1)Python基礎語法 (2)Python Web 網頁開發框架 – Django (3)Python網頁爬蟲 – 周易解夢網 (4)Tensorflow AI語言模型基礎與訓練 – LSTM (5)實際部屬AI解夢模型到Web框架上。

為什麼技術要從零開始寫起

自由團隊的成立宗旨為開發AI/新科技的學習資源，提供各領域的學習者能夠跨域學習資料科學，並透過自主學習發展協槓職涯，結合智能應用到各式領域，無論是文、法、商、管、醫領域的朋友，都可以自由的學習AI技術。

資源

AI . FREE Team 讀者專屬福利 → Python Basics 免費學習資源

Hi~經過前兩篇的文章相信大家對於人工智慧與python的coding能力都有較深的理解了，那我們今天將繼續人工智慧的標題做文章

為了讓大家可以對類神經網路有更深的理解，本篇將帶大家使用pytorch這個深度學習的套件，來進行今天的實作。

一開始先為大家詳解一下向後傳播的過程，上次有說到透過預測與答案之間的差距(loss function)，了解模型的學習狀況，再利用調整W，降低預測與答案之間的差距，進而提高正確率，但是其實再向後傳播的過程中，還有一個更重要的過程，便是梯度下降(Gradient descent)，這次我們將帶來更詳細的解說

向後傳播(backward propagation)

損失函數(Loss Funciton)

Loss funciton的公式其實有很多種，但最重要的目的是要能夠讓預測與答案不一致時，將，上圖最上面的公式是一個loss funciton的公式，下面的公式(成本函數)是每一次loss的總和的平均(其實是一樣的)，透過y是我們的預測，而y上面有一個^符號的是答案，我們先稱為y_hat

損失函數是衡量我們演算法的好壞，上述公式binary_crossentropy交叉熵損失函式，這是一個很有名的數學公式，你會發現只有y和y_hat是相等時，loss才為0，否則loss就是為一個正數。而且，概率相差越大，loss就越大。這個神奇的度量概率距離的方式稱為交叉熵。

梯度下降(Gradient descent)

還記得前一篇的實作中，我們有利用當y_p不等於y_t時，我們會提高W降低W，這個過程其實就是梯度下降，但是公式簡陋也不夠精確，在求出loss之後，我們需要得知神經元對於輸出的變化，好吧!用說的可能比較難理解，那我們來看圖片，這圖片中相信大家會有更好的見解。

上圖中再向前傳播的結果中，我們可以得知輸出是33，但是我們無法得知每一個節點(輸入和神經元)的作動對於結果的影響，因此，需要得知每個節點對於輸出的重要性(權重W)，我們必須仰賴向後傳播。

而向後(反向)傳播其實就是一系列的偏微分，透過微分我們可以得知每個節點當下的變化，進而得到他的梯度(gradient)，這邊就不詳細解釋偏微分，總之因為微分的底不一樣，因此根據連鎖律(Chain Rule)，假設你要得知a對J的影響，就要拿J對v的微分乘上v對a的微分，這樣就可以得知a的梯度。

而上面的公式，大家有沒有覺得很熟悉阿，這就是上次實作的更新的公式，只是這次的dw1上次是x1，而dw1就是w1的梯度，相對來說更加精準。

好的，那我們這邊開始進行這禮拜的實作~

Pytorch

Pytorch基本教學

我們先帶一些pytorch的基本教學例子，其實有先看過我們後面文章的朋友都知道，真正到解夢模型那裏的深度學習套件是用tensorflow與keras，使用過keras的朋友們都知道，當用這個套件時，AI就真的像黑盒子一樣，丟進去等結果就好，而pytorch這個套件release底層API比較多，方便不熟悉python實作AI的朋友們理解模型內的運作喔~

而我們將會帶大家先做pytorch官網的教學

Tensor

import torch


dtype = torch.float
device = torch.device("cpu") # 表示目前使用CPU來跑
# device = torch.device("cuda:0") # 這是for GPU的程式

# N is batch size; D_in 是輸入維度;
# H is hidden dimension; D_out 是輸出維度.
N, D_in, H, D_out = 64, 1000, 100, 10

# Create random input and output data
x = torch.randn(N, D_in, device=device, dtype=dtype)
y = torch.randn(N, D_out, device=device, dtype=dtype)

# Randomly initialize weights
w1 = torch.randn(D_in, H, device=device, dtype=dtype)
w2 = torch.randn(H, D_out, device=device, dtype=dtype)

learning_rate = 1e-6
for t in range(500):
    # 向前傳播
    h = x.mm(w1)
    h_relu = h.clamp(min=0)
    y_pred = h_relu.mm(w2)

    # 計算出loss 這邊loss function使用的是 MSE公式
    loss = (y_pred - y).pow(2).sum().item()
    if t % 100 == 0:
        print(t, loss)

    # 向後傳播計算出w1與w2的梯度
    grad_y_pred = 2.0 * (y_pred - y)
    grad_w2 = h_relu.t().mm(grad_y_pred) # t()是將矩陣轉置
    grad_h_relu = grad_y_pred.mm(w2.t())
    grad_h = grad_h_relu.clone()  #clone是賦值之外並且讓這個變數具有可計算梯度的功能
    grad_h[h < 0] = 0
    grad_w1 = x.t().mm(grad_h)

    # 更新權重
    w1 -= learning_rate * grad_w1 
    w2 -= learning_rate * grad_w2

輸出

0  1.4500995348498691e-05
100  1.0990642294927966e-05
200  8.501140655425843e-06
300  6.994195700826822e-06
400  5.831332146044588e-06

關於clone的用法可以參考這

Autograd

在上面的範例中，我們手動算出了w1與w2的梯度，繼續看下面的範例

dtype = torch.float
device = torch.device("cpu")

N, D_in, H, D_out = 64, 1000, 100, 10

x = torch.randn(N, D_in, device=device, dtype=dtype)
y = torch.randn(N, D_out, device=device, dtype=dtype)

w1 = torch.randn(D_in, H, device=device, dtype=dtype, requires_grad=True)
w2 = torch.randn(H, D_out, device=device, dtype=dtype, requires_grad=True)

learning_rate = 1e-6
for t in range(500):
    y_pred = x.mm(w1).clamp(min=0).mm(w2)

    loss = (y_pred - y).pow(2).sum()
    if t % 100 == 0:
        print(t, loss.item())

    # 這裡我們使用backward()來自動找出w1與w2的梯度，是不是很輕鬆呢~
    loss.backward()

    with torch.no_grad():
        w1 -= learning_rate * w1.grad
        w2 -= learning_rate * w2.grad

        # 更新完權重後，我們需要將每個梯度手動歸0，以免下次的梯度加到這次的
        w1.grad.zero_()
        w2.grad.zero_()

nn module

在前兩個實作中，我們都強調向後傳播的過程與簡化，其實pytorch向前傳播也有很方便的API

import torch

N, D_in, H, D_out = 64, 1000, 100, 10

x = torch.randn(N, D_in)
y = torch.randn(N, D_out)

# 這裡使用nn.Sequential()這個function來宣告我們向前傳播的模型
model = torch.nn.Sequential(
    torch.nn.Linear(D_in, H),
    torch.nn.ReLU(),
    torch.nn.Linear(H, D_out),
)

# loss也有funciton可以做喔
loss_fn = torch.nn.MSELoss(reduction='sum')

learning_rate = 1e-4
for t in range(500):
    # 這裡只要將x丟進我們的model就好
    y_pred = model(x)

    # 將預測與答案丟進剛剛宣告的loss funciton就可以得到loss
    loss = loss_fn(y_pred, y)
    if t % 100 == 0:
        print(t, loss.item())

    loss.backward()

    # 更新權重也有簡化的API
    with torch.no_grad():
        for param in model.parameters():
            param -= learning_rate * param.grad

有沒有忽然覺得學AI變輕鬆了呢，很多的function把公式都簡化了

本次的實作先到這邊，希望大家都能更了解深度學習實作的方法，下篇將會帶來實際data的應用

想更深入認識 AI . FREE Team ？

自由團隊 官方網站：https://aifreeblog.herokuapp.com/
自由團隊 Github：https://github.com/AI-FREE-Team/
自由團隊 粉絲專頁：https://www.facebook.com/AI.Free.Team/
自由團隊 IG：https://www.instagram.com/aifreeteam/
自由團隊 Youtube：https://www.youtube.com/channel/UCjw6Kuw3kwM_il39NTBJVTg/

文章同步發布於：自由團隊部落格
(想看更多文章？學習更多AI知識？敬請鎖定自由團隊的頻道！)