下列敘述哪一個最符合終身機器學習的學習目標: (選一個)
我們期望有一個模型,有序的連續訓練在不同新的任務上,它在過去的任務上,始終可以得到不錯的表現。所以訓練好之後,模型不會忘記舊的任務。 We expect a model that trained on different tasks continuously and could reach good performance and it could not forget the old task.
在 sample code 內的方法都是使用基於約束方法的終身學習作法,請問這些sample code 作法的核心概念是什麼? (選一個)
我們希望模型的每一個參數會存在一個約束參數去約束模型的更新方向,這個參數可以幫助模型在訓練新任務時,盡量找出對於舊任務還有新任務共同有利的更新方向,使之訓練好的模型參數,不會在舊任務上發生災難性的遺忘。 We hope a set of constraint parameters correlated to the model parameters to constrain the model. These parameters tried to find a common update direction between the current training task and past tasks. So the model would not catastrophically forget previous tasks.
下列哪些是正確的敘述? (選一個)
『多任務學習是希望一個模型可以處理很多不同的任務,所以在訓練時,會將所有任務的訓練資料倒在一起,變成一個巨量的訓練資料,一次使用多個任務的訓練資料以及對應的目標函數一起更新模型的參數。』 “Multi-task learning hopes that a model can handle many different tasks. Therefore, during training, the training data of all tasks will be poured together to become a huge amount of training data. Using the training data of multiple tasks and the corresponding objective functions to update the parameters of the model at a time.”