在深度學習的領域中，有一項技術稱為「剪枝(pruning)」，它的主要目的是壓縮神經網路模型，使其變得更小巧但更有效率，而這項技術的核心思想是通過去除神經網路中的權重值，也就是通過移除對模型性能貢獻不大的權重來減少模型的大小，以獲得更為精簡的模型，那這樣的優化有著明顯的好處，首先，它可以讓模型變得更節省計算資源，其次，在訓練過程中所需的時間也會相應減少。這個技術可運用至當我們考慮將模型運行在資源有限的行動設備上執行時的情境，又或是希望可以即時的系統上

剪枝(Pruning)

剪枝技術可以分為兩類：非結構剪枝和結構剪枝

非結構剪枝

允許我們去除神經網路中的任何權重值或神經元，不受嚴格的結構約束。儘管這種方法可以實現較高的理論加速比，但剪枝後的卷積層形狀往往變得不規則，這樣的不規則性使得模型可能需要特殊的軟硬體加速器，才能夠充分利用這些稀疏模型的性能優勢

結構剪枝

它涉及到刪除預定的網路模型結構，例如卷積層中的濾波器或通道，這樣的操作會讓產生出來的特徵圖數量相應減少，這有助於更好地利用處理器資源，然而，這樣的結構性剪枝不一定能夠保持模型的準確性。特別是對於影像恢復這樣的任務，它容易受到結構性剪枝的影響，可能導致性能下降

參考

LEARNING N:M FINE-GRAINED STRUCTURED SPARSE NEURAL NETWORKS FROM SCRATCH

完賽

今天是第三十天了！ 沒想到真的可以寫出三十天的文章出來，感謝 penut85420, jtlin1206, sharonliu, Bonnie1226 大家互相督促一起到完賽~🎊