是深度學習中必要的網路架構,靠著卷積層(Convolutional layer)、池化層(Pooling layer)的分析與協助,強化圖型辨識和相鄰資料間的關係(Pattern recognition),使得CNN在影像、音訊識別領域有非常優秀的表現,因此有許多識別模型都是以CNN加購來做為參考。
是近年來最蓬勃發展的深度學習網路架構,能將過往的資料記錄下來,找出其中規律後預測未來的結果,實際應用有語音翻譯、轉成文字、手寫鍵盤識別等。
但卻有著長期記憶的問題,只要是超過一年的舊資料便無法找出紀錄、規律,最後由長短期記憶神經網路(Long-short term memory, LSTM)就是來解決這個長期記憶不足的缺陷,和前者相比,後者多了三個控制開關,這些開關依照資料的權重決定是否要啟動:
1.輸入input:控制是否將資料寫入記憶體
2.遺忘forget:是否要保留先前記憶體中的資料
3.輸出output:記憶體裡的資料是否要輸出
參考資料:
廖家宜。五個層次拆解深度學習生態系。2018年2月9日。https://www.digitimes.com.tw/iot/package_show.asp?cat=158&id=0000524527_F0S6DPIV1UE9758LHBNSY&packageid=12799
TengYuan Chang。淺談遞歸神經網路 (RNN) 與長短期記憶模型 (LSTM)。2019年2月6日。https://reurl.cc/GkbMZy。
周秉誼。淺談Deep Learning原理及應用。2016年9月20日。
http://www.cc.ntu.edu.tw/chinese/epaper/0038/20160920_3805.html