圖. 影像標題(Image Captioning)，圖片來源：cs231n_2017_lecture11 Detection and Segmentation

前言

影像辨識的發展，可以從 ImageNet ILSVRC 挑戰賽(Large Scale Visual Recognition Challenge)題目一窺端倪，2011年題目為影像分類(Classification)、影像分類及定位(Classification with Localization)，到了2017年題目為物體定位(Object Localization)、物體偵測(Object Detection)、影片物體偵測(Object Detection from Video)，就可以了解整個技術的演進，我們看看下圖，電腦視覺的應用概分為下列幾類：

1. 分類(Classification)
2. 按語意切割(Semantic Segmentation)：按事物類別區分像素分塊，不區分『實例』(Instance)。
3. 定位(Classification + Localization)：標註單一物體(Single Object)所在的位置及大小。
4. 物體偵測(Object Detection)：標註多個物體(Multiple Object)所在的位置及大小。
5. 實體切割(Instance Segmentation)：標註『實例』(Instance)，同一類的物體可以區分各別的位置及大小，尤其物體之間有重疊。
   
   圖. 除了分類(Classification)，其他電腦視覺的應用，圖片來源：cs231n_2017_lecture11 Detection and Segmentation

之前在『Day 10：CNN 應用 -- 找出相似的照片』一篇介紹如何找到我們如何找到相似的物體，問題再延伸一點，我們還要知道物體所在的位置及大小，進而把它標註出來，以利使用者迅速找到關注的物體，例如從監視器找嫌疑犯，如果能在每一幀(Frame)標註嫌疑犯，那警察抓嫌疑犯就方便多了。所以，我們就來看看怎麼實作。

相關技術

實作的基礎還是應用『Day 09：CNN 經典模型應用』介紹的方法，先找出符合的物體，之後再判斷哪一區域有符合的物體，且機率最高，即將該區域以方框標註，如下圖，CNN後分別接兩種全連階層，一個作分類(Classification)，另一個標註符合的區域。

圖. 定位演算法模型，圖片來源：CS231n第八課：目標檢測定位學習記錄 - IT閱讀

至於，標註區域的方式有下列幾類演算法：

1. 滑動視窗(Sliding Window)：這是一種窮舉法，設定各種尺寸的區域，從左上角開始滑動，找出所有區域，然後，看哪一個區域符合的機率最高。這種方法最簡單，但是也相對耗時。
   
   圖. 滑動視窗(Sliding Window)模型，圖片來源：CS231n第八課：目標檢測定位學習記錄 - IT閱讀

2. Region Proposals：利用了圖像中的紋理、邊緣、顏色等信息，人為定義可能含有目標的RoI(Regions of Interest)區域，只針對這些區域比較符合的機率，每秒可過濾上千個區域，相關演算法有 R-CNN、Fast R-CNN、Faster R-CNN...等。
   
   圖. Region Proposals 示意圖，圖片來源：CS231n第八課：目標檢測定位學習記錄 - IT閱讀

3. 迴歸方法：將圖片切成小方塊(Grid)，再以小方塊中心點選擇幾種尺寸的區域，利用迴歸方法計算每個區域含有目標的機率。這種方法較 Region Proposals 慢，但適合即時(Real Time)偵測，目前相關演算法有有 YOLO(You Only Look Once)、SSD(Single Shot MultiBox Detector)...等。
   
   圖. 迴歸方法說明，圖片來源：cs231n_2017_lecture11 Detection and Segmentation

我們就舉 SSD 演算法為例來測試看看效果如何。

實作

本程式來自Object Detection · Martin Thoma，程式較長，不易說明，我將部分參數固定(Hard Code)，並加上註解，放在SSD資料夾，可在這裡找到，其中 weights_SSD300.hdf5 檔案過大，請自https://mega.nz/#F!7RowVLCL!q3cEVRK9jyOSB9el3SssIA 下載，放在SSD資料夾中，再準備一組照片檔(*.jpg")，辨識內容限20類照片 -- 飛機、單車、鳥、小船、瓶子、巴士、轎車、貓、椅子、牛、餐桌、狗、馬、機車、人、盆栽、羊、沙發、火車、顯示器等，放在程式所在目錄下的images子目錄，然後執行下列指令：
python ssd_test.py

"""
Run object detection with VOC classes.

This is just a minor modification of code from
https://github.com/rykov8/ssd_keras
"""

from keras.applications.imagenet_utils import preprocess_input
from keras.preprocessing import image
import matplotlib.pyplot as plt
import numpy as np
from scipy.misc import imread
import sys

from ssd import SSD300
from ssd_utils import BBoxUtility
import os
from os.path import basename

def create_overlay(img, results, , plt_fname):
    plt.clf()
    # Parse the outputs.
    det_label = results[:, 0]
    det_conf = results[:, 1]
    det_xmin = results[:, 2]
    det_ymin = results[:, 3]
    det_xmax = results[:, 4]
    det_ymax = results[:, 5]

    # Get detections with confidence higher than 0.6.
    top_indices = [i for i, conf in enumerate(det_conf) if conf >= 0.6]

    top_conf = det_conf[top_indices]
    top_label_indices = det_label[top_indices].tolist()
    top_xmin = det_xmin[top_indices]
    top_ymin = det_ymin[top_indices]
    top_xmax = det_xmax[top_indices]
    top_ymax = det_ymax[top_indices]
    colors = plt.cm.hsv(np.linspace(0, 1, 21)).tolist()

    plt.imshow(img / 255.)
    currentAxis = plt.gca()
    currentAxis.axis('off')

    for i in range(top_conf.shape[0]):
        xmin = int(round(top_xmin[i] * img.shape[1]))
        ymin = int(round(top_ymin[i] * img.shape[0]))
        xmax = int(round(top_xmax[i] * img.shape[1]))
        ymax = int(round(top_ymax[i] * img.shape[0]))
        score = top_conf[i]
        label = int(top_label_indices[i])
        label_name = voc_classes[label - 1]
        display_txt = '{:0.2f}, {}'.format(score, label_name)
        coords = (xmin, ymin), xmax - xmin + 1, ymax - ymin + 1
        color = colors[label]
        currentAxis.add_patch(plt.Rectangle(*coords,
                                            fill=False,
                                            edgecolor=color,
                                            linewidth=2))
        currentAxis.text(xmin, ymin, display_txt,
                         bbox={'facecolor': color, 'alpha': 0.5})
    plt.savefig(plt_fname)
    print("save "+plt_fname)

if __name__ == "__main__":
    import glob
    imagesList = glob.glob("images/*.jpg")

    # Load the model
    voc_classes = ['Aeroplane', 'Bicycle', 'Bird', 'Boat', 'Bottle',
                   'Bus', 'Car', 'Cat', 'Chair', 'Cow', 'Diningtable',
                   'Dog', 'Horse', 'Motorbike', 'Person', 'Pottedplant',
                   'Sheep', 'Sofa', 'Train', 'Tvmonitor']
    NUM_CLASSES = len(voc_classes) + 1
    input_shape = (300, 300, 3)
    model = SSD300(input_shape, num_classes=NUM_CLASSES)
    model.load_weights('weights_SSD300.hdf5', by_name=True)
    bbox_util = BBoxUtility(NUM_CLASSES)

    # Load the inputs
    inputs = []
    images = []
    for img_path in imagesList:
        print("process " + img_path)
        img = image.load_img(img_path, target_size=(300, 300))
        img = image.img_to_array(img)
        images.append(imread(img_path))
        inputs.append(img.copy())
    # 前置處理
    print("前置處理...")
    inputs = preprocess_input(np.array(inputs))

    # 預測
    print("預測...")
    preds = model.predict(inputs, batch_size=1, verbose=1)
    # 取得預測結果
    results = bbox_util.detection_out(preds)
    print("results[0]=")
    print(results[0][0][1])

    # create folder if not exist
    output_directory="results"
    if not os.path.exists(output_directory):
        os.makedirs(output_directory)
    # proces images
    for i, img in enumerate(images):
        # 產生有框的 output files
        create_overlay(img, results[i], voc_classes,
           output_directory+"/{}.png".format(basename(os.path.splitext(imagesList[i])[0])))
    # Garbage collection, to prevent from TensorFlow error
    import gc
    gc.collect()    

程式說明

程式不像前兩篇，這次的程式很快就可以執行完，程式流程說明如下：

1. 首先會搜尋images資料夾下的jpg檔案。
2. 呼叫 SSD300 函數，載入模型及訓練好的參數檔。
3. 呼叫 detection_out 函數，取得預測結果，放在 results 變數，內容包括的類別序號及對應的機率，還有標註方框的位置及大小。
4. 呼叫 create_overlay 函數，將標註方框及類別名稱畫在原圖上，另存新檔，放在 results 資料夾，附檔名為 png。
5. SSD 模型定義在 ssd.py 中，該模型結構非常複雜，可以在呼叫 SSD300 函數後，加下列指令將結構圖存檔：

from keras.utils.vis_utils import plot_model
plot_model(model, to_file='model_plot.png', show_shapes=True, show_layer_names=True)

針對執行結果有以下幾點說明：

1. 影像標題(Image Captioning)：結果不只會有方框，也會標註類別名稱，如果不在 20 類的物體會顯示錯誤的類別名稱，如大象及熊讚。
2. 只限20類是因為我們直接載入訓練好的模型(Pre-trained Model) -- weights_SSD300.hdf5，它的訓練資料只含20類物體，實際應用時，可以針對目標，放入更適合的類別資料，重新訓練，就可以得到我們想要的結果了。
3. 訓練資料來源為PASCAL Visual Object Classes。
4. 理論基礎請參考『SSD: Single Shot MultiBox Detector』。
5. 本例是將結果存檔，如果要將結果直接顯示出來，可搭配使用 OpenCV 工具箱。

結語

有關影像的辨識就介紹到這裡，其實，筆者還很想花時間作一些實驗，但迫於鐵人賽不等人，只好等賽程結束，再好好重整旗鼓了，下一次開始我們就要開始『自然語言處理』之旅，它涉及的知識範圍更廣，筆者會花更多的篇幅，與大家一起努力。