遷移學習（ Transfer Learning ）

將在一個任務上學到的知識轉移到另一個相關任務中，可以是模型的權重、特徵表示或其他學習過程中的資訊

遷移學習的方法

• 在源域和目標域中分配不同的權重來處理個別實例
• 將源域和目標域的特徵映射到相同的空間
• 共享源域和目標域之間的模型參數

領域（ Domain ）：包括特徵空間和邊緣分佈，代表資料的來源
源域（ Source Domain ）：已知知識或已訓練的領域
目標域（ Target Domain ）：希望訓練新模型的領域
任務（ Task ）：由目標函數和學習結果組成，是最終的學習目標

遷移學習策略

• Fine Tuning：將源域的預訓練模型調整到目標域
• Conservative Training：引入正則化項，以保持新模型與原模型的兼容性
• Layer Transfer：保留源模型的前幾層（通常是特徵提取層），將源模型的特定層參數複製到目標模型
• Multitask Learning：使模型同時在源域和目標域中表現出色
• Domain-adversarial Training：將源領域和目標領域的特徵區分度減小，以達到移除領域差異的效果，使源域和目標域的特徵分布保持一致
• Zero-shot Learning：處理源域和目標域具有不同任務的情況，模型被訓練以識別新的類別，而沒有直接的訓練資料，將特徵映射到共享空間並使用相關類別的知識來實現
• Model Fine-tuning： 將原始模型的權重作為新模型的初始值，在新的目標資料上進行訓練

遷移學習的分類

遷移學習問題可以分為三個關鍵問題：遷移什麼、如何遷移、什麼時候遷移
根據不同的情境，遷移學習可以分三類

1. 推導遷移學習（ Inductive Transfer Learning ）：源任務和目標任務不同，目標域需要一部分帶標記的資料來建立目標域的預測函數
2. 轉導遷移學習（ Transductive Transfer Learning ）：源任務和目標任務相同，但源域和目標域可能會有不同的特徵空間或邊緣分佈
3. 無監督遷移學習（ Unsupervised Transfer Learning ）：源任務和目標任務不同但相關，通常用在解決無監督學習問題，像是聚類或降維

遷移學習解決的問題

1. 資料收集困難： 樣本資料不足夠來訓練一個好的模型，遷移學習可以使用從源任務中學到的知識，來幫助在目標任務中的訓練
2. 模型訓練成本： 訓練深度學習模型需要大量計算資源和時間，費時又費力，透過在源任務上進行預訓練，節省在目標任務上的訓練成本

參考資料

https://medium.com/@yuhsienyeh/machine-learning-transfer-learning-%E9%81%B7%E7%A7%BB%E5%AD%B8%E7%BF%92-5095f8a14367
https://medium.com/%E6%88%91%E5%B0%B1%E5%95%8F%E4%B8%80%E5%8F%A5-%E6%80%8E%E9%BA%BC%E5%AF%AB/transfer-learning-%E8%BD%89%E7%A7%BB%E5%AD%B8%E7%BF%92-4538e6e2ffe4
https://bigdatafinance.tw/index.php/tech/methodology/988-transfer-learning