開始說明機器學習與現實世界的互動,本篇說明癌症預測 文章:ML Systems in the Real World: Cancer Prediction Go...
訓練模型 print('START Fit') print('stack_gen') stack_gen_model = stack_gen.fit(np.a...
現在使用TensorFlow來訓練我們的這個模組。 以下會有幾個步驟:開始準備、製作特徵、以年齡當做分類的特徵、定義模型特徵、訓練深度神經網路模型、評估神經網路...
今天我們來實際來跑簡單的Dataset,就是 DL 101 資料集 - MNIST。透過較為簡單的Dataset 來理解像GAN這種相對難的演算法,應該能較容易...
生成這些Boosting模型時,參數已經調整過,若是對調整超參數有其他想法也可以使用第16天的超參數調整哦! from sklearn.ensemble imp...
進入遊戲區體驗Fairness的機器學習,將會練習之前所說的不同的差異以及用子組合,來評估模型性能。 文章 (本篇分成兩章文章) 開始前 資料:用成人普查收入...
今天我們來實作GAN,簡單複習一下,GAN的Component 有 Generator 以及 Discriminiator 。而 Generator 任務就是...
資料的部分準備完畢之後,接下來最重要的就是模型的產生以及訓練了,在這裡我們先定義了線性模型的交叉驗證以及參數組合,方便之後進行使用。定義交叉驗證評分函數 imp...
在評估模型的時候,會發現模型與結果有誤差,模型無法針對我們的測試集反映出真正結果,這就是評估的偏差(evaluating for bias)。這時候就是需要用到...
今天我們來討論最近很流行的GAN,而最近很多新聞或者很多Youtuber都在討論他的應用,Ex: DeepFake 或者一些人像修圖應用。都是GAN的應用。 G...
將特徵都整理的差不多之後,由於當初我們合併了Train以及Test兩個資料集,要在最後將原先的資料切割開,並簡單處理一下離群值。 # y為測試集 X = fin...
在資料中有哪些偏見會產生呢?讓我們看下去 文章:Fairness: Identifying Bias Missing Feature Values:我們的...
今天我們來討論一個進化的AutoEncoder - Variational AutoEncoder。先回顧一下AutoEncoder的架構,AutoEncode...
新增特徵 本篇文章將特徵之間的關係做一個簡單的連結並產生新的特徵,產生新特徵這個動作在連結不同要素的影響時是很重要的,例如同時購買a與b一個特徵,以及買a、買b...
人對於自己在意的東西都會有所偏頗,可能在給予資料的時候就在不知不覺中進行篩選。要如何維持中立,不偏頗呢?這就是本篇所要探討的重點。 文章:Fairness 在...
今天來實作昨天討論的AutoEncoder,簡單複習一下,AutoEndoer的架構其實就如同下圖source Input 資料後,會放到Neural Netw...
特徵調整 在這裡要使用一個較特殊的運算叫做boxcox,boxcox1p則是加上1之後才做boxcox避免過程中出現錯誤,boxcox的公式如下。 做完這個轉換...
在程式開發中,對於程式的品質非常重要,我們有各個種測試方式測試,最常用的就是單元測試(Unit test)。但是機器學習沒有這樣的機制,只能用直接輸入數據,直接...
延續上一次的補值,在特殊的行當中,我們可以從行本身的意義判斷出應該補的值,例如當車庫的屬性為空值,可能原因就是該棟房子並沒有車庫,因此這些相關的面積等等資訊都可...
今天開始,我們來聊聊非監督式的學習。前面所提的演算法,大部分都是監督式學習,也就是通常都是Label好的資訊 (Ex: 透過已經蒐集到的股價資訊或者已經Labe...
在上次的處理中尚未除去明顯的極端值,因此這次我們針對面積超過一定程度的資料進行刪除。 train = train[train.GrLivArea < 45...
今天討論的主題主要是Google這篇曾經在2016年release 在Google Play的app上所做的推薦系統,而他有被open source 在 Ten...
本篇要學習靜態和動態推理,這是在機器學習中所要選擇的兩種不同推理。 文章:Static vs. Dynamic Inference 在設計機器學習中,有一環要...
文章:Static vs. Dynamic Training 進行模型訓練方式依據資料是否會變動,將分成兩種方式:靜態(static)和動態(dynamic)...
今天我們來討論推薦系統,現在大家的生活環境充滿了推薦系統的應用,不管是在Youtube聽音樂或者是在商城購物,都充斥著推薦系統的應用。什麼是推薦系統?推薦系統就...
匯入與觀察資料 from google.colab import drive drive.mount('/content/gdrive') train = pd...
簡單回顧之前在介紹 Gradient Descent 及 ML入門(十五)Regularization(Solving overfitting)都有提到,在做...
前言 十幾年前到電信公司工作時,接到的第一個專案就是要幫客服中心安排人力班表,我們調查過很多國內外的WFM(Workforce Management)系統,通...
本篇會講一些Google提供的機器學習之環境到底是怎樣,如何協助我們。文章:Production ML Systems 這是課程中描繪的圖片: 明顯的看得出來...
Multi-label Text Classification using BERT – The Mighty Transformer 今天要來芝麻街上英文課囉...