前幾回討論的主要是廣義性（Generalization），今天要討論另外一個重要的性質：穩健性（Robustness）。

我們同時也希望模型舉有穩健性，簡單來說，可以定義如下：我們有個模型或函數 $f$，則 $f(x + \epsilon) \approx f(x)$ 當 $\epsilon$ 很小時，也就是 $\left| \epsilon \right| \rightarrow 0$，通常我們會說這個 $\epsilon$ 代表的是一些誤差、噪音（noise），我們會資料做一些擾動（pertabation）來模擬，在現實生活中，這些小誤差可能出現在機器系統性誤差或是圖片為小地方不同等等。

跟這個主題有關的領域就是攻擊與防禦（attach and defense），包括黑盒子攻擊、白盒子攻擊等等，白盒子攻擊你知道模型的架構與參數而黑盒子攻擊不知道，不知道模型架構的話，可能就會用另一個 $g$ 來逼近 $f$，也就是讓 $g \rightarrow f$，另外我們的 $\epsilon$ 通常可能會服從某個分佈，像是高斯分佈或是拉普拉斯分佈等（Gaussian / Laplace Distribution），使得 $f(x + \epsilon) \neq f(x)$，而一些簡單的防禦方法，像是對抗式訓練（adversarial training），在訓練的時候，也把 $x+\epsilon$ 等放下去一起訓練，來增加穩健性。

至於要如何量化廣義性以及穩健性仍算是個開放式問題。