前言

我們花了約兩個禮拜來使用不同的套件Optuna以及MealPy來介紹各種模型的最佳化，例如機器學習中的SVC、MLP、CNN、GAN。不過篇幅有限所以還有很多很多很多應用無法詳細提及到，今天我想在系列文的尾端向各位討論分享一下目前最佳化在機器學習與深度學習的一些發展與應用。

各位有興趣可以去看看我這系列文的其他文章，相信應該會讓各位有一些收穫的。

其他深度學習應用

目前有一些研究都會在完成模型的測試之後再套用最佳化演算法，藉此進一步的提升模型的性能，或是開發的模型差一點就能打敗當前最強的模型，有時候就也會套用最佳化演算法。
在眾多深度學習的子領域中，有許多應用都會用到最佳化演算法，這些應用包含但不限於：

• 最佳化循環神經網路(Recurrent neural network, RNN)：與時間序列有關的任務通常會使用RNN、LSTM、GRU等，這些網路層也有許多超參數可以進行最佳化，有時也可以嘗試尋找最佳的序列長度之類的部分。
• 強化學習：強化學習中基本上也是一個最佳化過程，用於找出可以獲得最大回報的最佳策略，不過在強化學習中會根據不同的演算法有不同的參數，如果參數沒設定好，有時候偏差就會慢慢雪球越滾越大(本人研究甘苦談TT)。通常這時候我就都會再套用最佳化演算法去找最佳的學習方式。
• 自然語言處理：現在NLP以及以此為基礎的Transformer架構、GPT等架構，基本上應該也可以最佳化超參數，不過我覺得用下去之後那個學習時間會爆表XD
• 資料集特徵選擇：在我的一些研究中，常常會拿到超多資料，然後有一些資料又沒什麼用，這時候就會用最佳化演算法來挑選最佳的幾個資料特徵。通常我的作法是給每一個特徵一個分數(就是解，有五個特徵演算法就會生成五個解)，然後依照分數高低選出特定幾個特徵來訓練，看看使用那些特徵組合會讓訓練效果最好。

除此之外在不同領域，電腦視覺、智慧控制等領域都還是可以搭配最佳化演算法，所以這項技術就算是一個基石，能夠讓深度學習模型更上一層樓！

結語

今天向各位分享一些我有觀察到的模型最佳化的應用，各位如果在使用各種五花八門的模型中有期許性能能夠進一步提升的話，基本上都可以使用最佳化演算法，讓程式跑個幾天，讓子彈飛一會兒，相信時間到了子彈就會精準打在靶上了XD
明天將分享我這次比賽的心得，這次比賽應該是花費我最多精神、死最多腦細胞的一次了，希望我的這系列文章可以幫助到各位~