在練習手寫變識前先認識一下幾種常用的optimizer
參考網站1 參考網站2

幾種常用的optimizer數學的個過程就不推導在裡面都有詳盡解說。直接來看結果如下GIF圖:
https://images2018.cnblogs.com/blog/1192699/201803/1192699-20180311110108768-2113908893.gif
https://images2018.cnblogs.com/blog/1192699/201803/1192699-20180311105558593-251578131.gif
可以發現雖然SGD很常用但他可能會停在鞍點上，可以試看看其他optimizer~

MNIST 變識練習

MNIST是機器學習裡面非常重要的手寫數字資料集，如今車牌變識已經如此廣泛!這裡參考R 語言使用者的 Python 學習筆記、tensorflow學習筆記與莫凡的PYTHON跟著做一遍~

MNIST 資料集分成三個部分
55,000 筆的 training data (mnist.train)
10,000 筆的 test data (mnist.test)
5,000 筆的 validation data (mnist.validation)

首先先從scikit-learn網站載入MNIST:

from tensorflow.examples.tutorials.mnist import input_data
import numpy as np

# 讀入 MNIST
mnist = input_data.read_data_sets("MNIST_data/", one_hot = True)
x_train = mnist.train.images
y_train = mnist.train.labels
x_test = mnist.test.images
y_test = mnist.test.labels

# 檢視結構
print(x_train.shape)
print(y_train.shape)
print(x_test.shape)
print(y_test.shape)
print("---")

# 檢視一個觀測值
#print(x_train[1, :])
print(np.argmax(y_train[1, :])) # 第一張訓練圖片的真實答案

#3

把第一張圖片畫出來

from tensorflow.examples.tutorials.mnist import input_data
import numpy as np
import matplotlib.pyplot as plt

%matplotlib inline

# 讀入 MNIST
mnist = input_data.read_data_sets("MNIST_data/", one_hot = True)
x_train = mnist.train.images

# 印出來看看
first_train_img = np.reshape(x_train[1, :], (28, 28))
plt.matshow(first_train_img, cmap = plt.get_cmap('gray'))
plt.show()

我們把 mnist.train.images 稱作一個 tensor（他其實就是一個 n-dimensional array．而 tensor + flow = tensorflow，也就是指這個 n-dimensional array 變化流動的意思）這個 tensor 形狀為 [55000, 784]．第一個維度指的是圖片的 index，第二個則是每個圖片的 pixel 點，這個 pixel 點是一個介於 0 到 1 的值，來表示 pixel 點的強度．one_hot=Treu，因為每個 MNIST 中的圖片都有一個對應的 label 也就是從 0 到 9 的數值．在這裡每個 label 都是一個 one-hot vectors． one-hot vector 是指說只有一個維度是 1 其他都是 0．在這裡數字 n 表示一個只有在第 n 維度（從 0 開始）數字為 1 的 10 維向量．例如 label 3 的表示法就是（[0, 0, 0, 1, 0, 0, 0, 0, 0, 0])．因此，mnist.train.labels 是一個 [55000, 10] 的矩陣．

Softmax

因為我們的輸出結果會是選1~9的機率看誰最大然後決定變識的結果，因此我們就需要用到softmax這個函數。這個函數先前在學感知器的時候已經有提過一次～

今天先學到這，明天再來train model~