前言

前一篇利用CNN辨識手寫阿拉伯數字，其實有幾個缺點：

1. MNIST 的訓練資料與滑鼠撰寫的樣式有所差異，我猜 MNIST 的資料收集應該是請受測者寫在紙上，再掃描存檔，因此有灰階及鋸齒狀，所以，如果要實際應用，應該自己收集訓練資料。
2. 要收集上萬筆受測者的資料，可能不太容易，另外，有些人書寫可能字體歪斜、偏一邊、或字體大小不同，我們可以透過【資料增補】(Data Augmentation)方式自動產生這些資料。
3. 可以套用預訓模型(Pre-trained Models)，利用已訓練好的模型，使辨識更精準。

以下就前兩點實作，辨識貓或狗，看看效果如何。

前置作業

如果要在本機執行，須進行以下前置作業：

1. 從Kaggle下載資料集，內有貓與狗的圖片。
2. 解壓縮至PetImages目錄。

如果要在 Colab 執行，就直接在 Notebook 內完成以上兩件事：

# 下載資料集
!curl -O https://download.microsoft.com/download/3/E/1/3E1C3F21-ECDB-4869-8368-6DEBA77B919F/kagglecatsanddogs_3367a.zip

# 解壓縮
!unzip -q kagglecatsanddogs_3367a.zip

原版程式請自【Image classification from scratch】下載，經測試在 Colab 環境下載資料集及解壓縮，比 Windows 環境快上許多，建議直接在Colab環境上測試。在Windows環境上執行，可解壓縮部份檔案即可，只是準確度會降低。

實作

這次的範例檔為12_01_CatAndDog.ipynb，程式有點長，又有一些新指令，我們就一段段詳加說明：

1. 讀取PetImages目錄內所有圖檔，掃描每一個檔案，若表頭不含"JFIF"，即為不合格的檔案，不納入訓練資料內。

import os

num_skipped = 0
for folder_name in ("Cat", "Dog"):
    folder_path = os.path.join("PetImages", folder_name)
    for fname in os.listdir(folder_path):
        fpath = os.path.join(folder_path, fname)
        try:
            fobj = open(fpath, "rb")
            is_jfif = tf.compat.as_bytes("JFIF") in fobj.peek(10)
        finally:
            fobj.close()

        if not is_jfif:
            num_skipped += 1
            # Delete corrupted image
            os.remove(fpath)

print("Deleted %d images" % num_skipped)

2. 建立訓練(Training)及驗證(Validation)資料集，注意，Tensorflow v2.3.0 才支援image_dataset_from_directory 這個函數，它會讀取目錄中的檔案，存入 dataset，它是 Python generator，一次只會讀取一批(batch)資料。

image_size = (180, 180)
batch_size = 32

train_ds = tf.keras.preprocessing.image_dataset_from_directory(
    "PetImages",
    validation_split=0.2,
    subset="training",
    seed=1337,
    image_size=image_size,
    batch_size=batch_size,
)
val_ds = tf.keras.preprocessing.image_dataset_from_directory(
    "PetImages",
    validation_split=0.2,
    subset="validation",
    seed=1337,
    image_size=image_size,
    batch_size=batch_size,
)

3. 【資料增補】(Data Augmentation)：本例只作水平翻轉、旋轉，Keras 還支援垂直翻轉、偏上/下(height_shift_range)、偏左/右(width_shift_range)、放大/縮小(zoom_range)、明亮度調整(brightness_range)、...等，詳細可參考【Image data preprocessing】。

# RandomFlip("horizontal")：水平翻轉、
# RandomRotation(0.1)：旋轉 0.1 比例 
data_augmentation = keras.Sequential(
    [
        layers.experimental.preprocessing.RandomFlip("horizontal"),
        layers.experimental.preprocessing.RandomRotation(0.1),
    ]
)

轉換後的樣本如下圖：

4. prefetch：預先讀取訓練資料，以提升效能

train_ds = train_ds.prefetch(buffer_size=32)
val_ds = val_ds.prefetch(buffer_size=32)

5. 建立更複雜的模型

def make_model(input_shape, num_classes):
    inputs = keras.Input(shape=input_shape)
    # Image augmentation block
    x = data_augmentation(inputs)

    # Entry block
    x = layers.experimental.preprocessing.Rescaling(1.0 / 255)(x)
    x = layers.Conv2D(32, 3, strides=2, padding="same")(x)
    x = layers.BatchNormalization()(x)
    x = layers.Activation("relu")(x)

    x = layers.Conv2D(64, 3, padding="same")(x)
    x = layers.BatchNormalization()(x)
    x = layers.Activation("relu")(x)

    previous_block_activation = x  # Set aside residual

    for size in [128, 256, 512, 728]:
        x = layers.Activation("relu")(x)
        x = layers.SeparableConv2D(size, 3, padding="same")(x)
        x = layers.BatchNormalization()(x)

        x = layers.Activation("relu")(x)
        x = layers.SeparableConv2D(size, 3, padding="same")(x)
        x = layers.BatchNormalization()(x)

        x = layers.MaxPooling2D(3, strides=2, padding="same")(x)

        # Project residual
        residual = layers.Conv2D(size, 1, strides=2, padding="same")(
            previous_block_activation
        )
        x = layers.add([x, residual])  # Add back residual
        previous_block_activation = x  # Set aside next residual

    x = layers.SeparableConv2D(1024, 3, padding="same")(x)
    x = layers.BatchNormalization()(x)
    x = layers.Activation("relu")(x)

    x = layers.GlobalAveragePooling2D()(x)
    if num_classes == 2:
        activation = "sigmoid"
        units = 1
    else:
        activation = "softmax"
        units = num_classes

    x = layers.Dropout(0.5)(x)
    outputs = layers.Dense(units, activation=activation)(x)
    return keras.Model(inputs, outputs)

BatchNormalization layer 是將輸出標準化，通常可增加準確度。

6. 訓練模型，以 dataset 為輸入資料型態。

epochs = 5
model.compile(
    optimizer=keras.optimizers.Adam(1e-3),
    loss="binary_crossentropy",
    metrics=["accuracy"],
)
model.fit(
    train_ds, epochs=epochs, validation_data=val_ds, 
)

訓練50 epochs，驗證準確率約 96%。

7. 任取一筆資料測試

img = keras.preprocessing.image.load_img(
    "./PetImages/Cat/18.jpg", target_size=image_size
)
img_array = keras.preprocessing.image.img_to_array(img)
img_array = tf.expand_dims(img_array, 0)  # Create batch axis

predictions = model.predict(img_array)
score = predictions[0]
print(
    "This image is %.2f percent cat and %.2f percent dog."
    % (100 * (1 - score), 100 * score)
)

語法差異

Keras 獨立套件之前的寫法如下，使用 ImageDataGenerator來產生增補資料，model.fit_generator 取代 model.fit，在Tensorflow 依然可以使用 ImageDataGenerator來產生增補資料，用法稍有差異，可以參考下一篇：

datagen = ImageDataGenerator(
        rotation_range=10,
        zoom_range=0.1,
        width_shift_range=0.1,
        height_shift_range=0.1)

model.compile(loss='categorical_crossentropy', optimizer=optimizer, metrics=['accuracy'])

history = model.fit(datagen.flow(X_train, y_train, batch_size=batch_size), epochs=epochs,
                              validation_data=(X_test, y_test), verbose=2,
                              steps_per_epoch=X_train.shape[0]//batch_size,
                              callbacks=[learning_rate_reduction])

結論

這一次我們自行準備訓練資料，並透過【資料增補】(Data Augmentation)方式自動產生更多資料。之後我們將套用預訓模型(Pre-trained Models)，利用已訓練好的模型，使辨識更精準。

本篇範例檔為 12_01_CatAndDog.ipynb，，可自【這裡】下載。