iT 邦幫忙::一起幫忙解決難題，拯救 IT 人的一天

1 Like 1 留言 729 瀏覽

技術以總統民調學習抽樣理論

前言這一陣子總統大選幾乎天天有民調，各家調查結果大相逕庭，調查結果相差10~20%，但每一項民調都宣稱『信賴水準95%，抽樣誤差為正負3.0%』，照理講不是應...

I code so I am ‧ 2019-12-24

1 Like 0 留言 332 瀏覽

技術淺談機器學習的效能衡量指標 (4) -- 檢定力分析(Power Analysis)

前言上一次談到『假設檢定』(Hypothesis Testing)，它可以檢定一項實驗是否有顯著性的效果，但是，我們要蒐集多少樣本才能驗證實驗的可靠度呢? 這...

I code so I am ‧ 2019-11-27

1 Like 0 留言 331 瀏覽

技術淺談機器學習的效能衡量指標 (3) -- 效能衡量指標與假設檢定的關聯

前言機器學習經過訓練(Trainning)、評估(Evaluation)後，就可以得到準確率(Accuracy)、精確率(Precision)、召回率(Rec...

I code so I am ‧ 2019-11-21

1 Like 0 留言 850 瀏覽

技術淺談機器學習的效能衡量指標 (2) -- ROC/AUC 曲線

前言上一篇談到準確率(Accuracy)、精確率(Precision)、召回率(Recall)、F1 Score，它們適用在不同的場景，接著我們再來討論『RO...

I code so I am ‧ 2019-11-17

2 Like 0 留言 1116 瀏覽

技術淺談機器學習的效能衡量指標 (1) -- 準確率(Accuracy)、精確率(Precision)、召回率(Recall)

前言初接觸機器學習時，常會給幾個效能衡量指標搞得一個頭兩個大：混淆矩陣(Confusion Matrix)。準確率(Accuracy)、精確率(Prec...

I code so I am ‧ 2019-11-13

0 Like 0 留言 370 瀏覽

鐵人賽 Google Developers Machine Learning DAY 30

Machine Learning（by Google）系列第 30 篇

技術【Day30】4th：現實案例&機器學習總結（含雜記）

案例說明中，google有提供以下的建議：（文章：ML Systems in the Real World: Guidelines）（列表中會提供相近的本系...

eyelash ‧ 2019-10-15

0 Like 0 留言 604 瀏覽

鐵人賽 Google Developers Machine Learning DAY 30

Towards Tensorflow 2.0 系列第 30 篇

技術 [Day-30] Transfer learning & Model Serving

今天是鐵人賽的最後一天，我想說來聊聊 Transferring learning 以及 Model serving。今天也會有簡單的Colab實作 (Trans...

Dan ‧ 2019-10-15

1 Like 0 留言 215 瀏覽

鐵人賽 AI & Data DAY 30

Python機器學習介紹與實戰系列第 30 篇

技術 DAY[30]-機器學習介紹與實戰-心得

實戰完整程式碼不知不覺就經過了30天的文章考驗，剛開始的幾天較有餘裕，文章的質量也比較高一些，但之後隨著比賽以及開學的上課時間影響，文章質量有所下降，對讀者還...

Austin ‧ 2019-10-15 ‧團隊Bikini Bottom

0 Like 0 留言 603 瀏覽

鐵人賽 Google Developers Machine Learning DAY 30

透視Google Machine Learning的奧秘系列第 30 篇

技術 [Day30] 數據分析相關工作之間的差異 & Google Machine Learning鐵人完賽心得

今天是最後一天了，終於可以完賽，回顧這三十天來分享了好多機器學習相關的東西，自己也有許多的收穫，除了分享一下完賽心得，我們今天也來探討一下數據分析相關工作之間的...

芋頭 ‧ 2019-10-15

0 Like 0 留言 233 瀏覽

鐵人賽 Google Developers Machine Learning DAY 29

Machine Learning（by Google）系列第 29 篇

技術【Day29】4th：現實案例－隱喻和政治傾向

google和研究文學的教授一同研究，看能不能用隱喻的作品資料，去預測作者的政治傾向。在完成模型後，他們發現準確率超高，到底是為什麼呢？文章：ML Syste...

eyelash ‧ 2019-10-14

0 Like 0 留言 293 瀏覽

鐵人賽 Google Developers Machine Learning DAY 28

Machine Learning（by Google）系列第 28 篇

技術【Day28】4th：機器學習＋現實世界－癌症預測

開始說明機器學習與現實世界的互動，本篇說明癌症預測文章：ML Systems in the Real World: Cancer Prediction Go...

eyelash ‧ 2019-10-13

0 Like 0 留言 167 瀏覽

鐵人賽 AI & Data DAY 28

Python機器學習介紹與實戰系列第 28 篇

技術 DAY[28]-Kaggle實戰模型預測與答案輸出

訓練模型 print('START Fit') print('stack_gen') stack_gen_model = stack_gen.fit(np.a...

Austin ‧ 2019-10-13 ‧團隊Bikini Bottom

0 Like 0 留言 394 瀏覽

鐵人賽 Google Developers Machine Learning DAY 27

Machine Learning（by Google）系列第 27 篇

技術【Day27】3rd：Playground－訓練模型（by TensorFlow）#2

現在使用TensorFlow來訓練我們的這個模組。以下會有幾個步驟：開始準備、製作特徵、以年齡當做分類的特徵、定義模型特徵、訓練深度神經網路模型、評估神經網路...

eyelash ‧ 2019-10-12

0 Like 0 留言 412 瀏覽

鐵人賽 Google Developers Machine Learning DAY 27

Towards Tensorflow 2.0 系列第 27 篇

技術 [Day-27] 生成對抗網路 (GAN) 實作 Part II

今天我們來實際來跑簡單的Dataset，就是 DL 101 資料集 - MNIST。透過較為簡單的Dataset 來理解像GAN這種相對難的演算法，應該能較容易...

Dan ‧ 2019-10-12

0 Like 0 留言 203 瀏覽

鐵人賽 AI & Data DAY 27

Python機器學習介紹與實戰系列第 27 篇

技術 DAY[27]-Kaggle實戰 Boosting模型與Stacking

生成這些Boosting模型時，參數已經調整過，若是對調整超參數有其他想法也可以使用第16天的超參數調整哦！ from sklearn.ensemble imp...

Austin ‧ 2019-10-12 ‧團隊Bikini Bottom

0 Like 0 留言 302 瀏覽

鐵人賽 Google Developers Machine Learning DAY 26

Machine Learning（by Google）系列第 26 篇

技術【Day26】3rd：Playgrand－公平（Fairness）#1

進入遊戲區體驗Fairness的機器學習，將會練習之前所說的不同的差異以及用子組合，來評估模型性能。文章（本篇分成兩章文章）開始前資料：用成人普查收入...

eyelash ‧ 2019-10-11

0 Like 0 留言 439 瀏覽

鐵人賽 Google Developers Machine Learning DAY 26

Towards Tensorflow 2.0 系列第 26 篇

技術 [Day-26] 生成對抗網路 (GAN) 實作 Part I

今天我們來實作GAN，簡單複習一下，GAN的Component 有 Generator 以及 Discriminiator 。而 Generator 任務就...

Dan ‧ 2019-10-11

0 Like 0 留言 156 瀏覽

鐵人賽 AI & Data DAY 26

Python機器學習介紹與實戰系列第 26 篇

技術 DAY[26]-Kaggle實戰模型準備-線性模型

資料的部分準備完畢之後，接下來最重要的就是模型的產生以及訓練了，在這裡我們先定義了線性模型的交叉驗證以及參數組合，方便之後進行使用。定義交叉驗證評分函數 im...

Austin ‧ 2019-10-11 ‧團隊Bikini Bottom

0 Like 0 留言 243 瀏覽

鐵人賽 Google Developers Machine Learning DAY 25

Machine Learning（by Google）系列第 25 篇

技術【Day25】3rd：Fairness－評估偏差（evaluating for bias）

在評估模型的時候，會發現模型與結果有誤差，模型無法針對我們的測試集反映出真正結果，這就是評估的偏差（evaluating for bias）。這時候就是需要用到...

eyelash ‧ 2019-10-10

1 Like 0 留言 418 瀏覽

鐵人賽 Google Developers Machine Learning DAY 25

Towards Tensorflow 2.0 系列第 25 篇

技術 [Day-25] 生成對抗網路 (GAN) 介紹

今天我們來討論最近很流行的GAN，而最近很多新聞或者很多Youtuber都在討論他的應用，Ex: DeepFake 或者一些人像修圖應用。都是GAN的應用。 G...

Dan ‧ 2019-10-10

0 Like 0 留言 157 瀏覽

鐵人賽 AI & Data DAY 25

Python機器學習介紹與實戰系列第 25 篇

技術 DAY[25]-Kaggle實戰特徵處理(2)

將特徵都整理的差不多之後，由於當初我們合併了Train以及Test兩個資料集，要在最後將原先的資料切割開，並簡單處理一下離群值。 # y為測試集 X = fin...

Austin ‧ 2019-10-10 ‧團隊Bikini Bottom

0 Like 0 留言 196 瀏覽

鐵人賽 Google Developers Machine Learning DAY 24

Machine Learning（by Google）系列第 24 篇

技術【Day24】3rd：Fairness之確定偏見（Identifying Bias）

在資料中有哪些偏見會產生呢？讓我們看下去文章：Fairness: Identifying Bias Missing Feature Values：我們...

eyelash ‧ 2019-10-09

0 Like 0 留言 767 瀏覽

鐵人賽 Google Developers Machine Learning DAY 24

Towards Tensorflow 2.0 系列第 24 篇

技術 [Day-24] VAE(Variational AutoEncoder) 實作

今天我們來討論一個進化的AutoEncoder - Variational AutoEncoder。先回顧一下AutoEncoder的架構，AutoEncode...

Dan ‧ 2019-10-09

0 Like 0 留言 266 瀏覽

鐵人賽 AI & Data DAY 24

Python機器學習介紹與實戰系列第 24 篇

技術 DAY[24]-Kaggle實戰特徵新增

新增特徵本篇文章將特徵之間的關係做一個簡單的連結並產生新的特徵，產生新特徵這個動作在連結不同要素的影響時是很重要的，例如同時購買a與b一個特徵，以及買a、買b...

Austin ‧ 2019-10-09 ‧團隊Bikini Bottom

0 Like 0 留言 201 瀏覽

鐵人賽 Google Developers Machine Learning DAY 23

Machine Learning（by Google）系列第 23 篇

技術【Day23】3rd：公平（Fairness）

人對於自己在意的東西都會有所偏頗，可能在給予資料的時候就在不知不覺中進行篩選。要如何維持中立，不偏頗呢？這就是本篇所要探討的重點。文章：Fairness 在...

eyelash ‧ 2019-10-08

0 Like 0 留言 355 瀏覽

鐵人賽 Google Developers Machine Learning DAY 23

Towards Tensorflow 2.0 系列第 23 篇

技術 [Day 23] AutoEnoder 實作

今天來實作昨天討論的AutoEncoder，簡單複習一下，AutoEndoer的架構其實就如同下圖 source Input 資料後，會放到Neural Ne...

Dan ‧ 2019-10-08

0 Like 0 留言 202 瀏覽

鐵人賽 AI & Data DAY 23

Python機器學習介紹與實戰系列第 23 篇

技術 DAY[23]-Kaggle實戰特徵轉換

特徵調整在這裡要使用一個較特殊的運算叫做boxcox，boxcox1p則是加上1之後才做boxcox避免過程中出現錯誤，boxcox的公式如下。做完這個轉...

Austin ‧ 2019-10-08 ‧團隊Bikini Bottom

0 Like 0 留言 172 瀏覽

鐵人賽 Google Developers Machine Learning DAY 22

Machine Learning（by Google）系列第 22 篇

技術【Day22】3rd：數據依賴關係（Data Dependencies）

在程式開發中，對於程式的品質非常重要，我們有各個種測試方式測試，最常用的就是單元測試（Unit test）。但是機器學習沒有這樣的機制，只能用直接輸入數據，直接...

eyelash ‧ 2019-10-07

0 Like 0 留言 147 瀏覽

鐵人賽 AI & Data DAY 22

Python機器學習介紹與實戰系列第 22 篇

技術 DAY[22]-Kaggle實戰補值與特徵新增(2)

延續上一次的補值，在特殊的行當中，我們可以從行本身的意義判斷出應該補的值，例如當車庫的屬性為空值，可能原因就是該棟房子並沒有車庫，因此這些相關的面積等等資訊都可...

Austin ‧ 2019-10-07 ‧團隊Bikini Bottom

0 Like 0 留言 399 瀏覽

鐵人賽 Google Developers Machine Learning DAY 22

Towards Tensorflow 2.0 系列第 22 篇

技術 [Day-22] Unsupervised Learning - AutoEnocder介紹

今天開始，我們來聊聊非監督式的學習。前面所提的演算法，大部分都是監督式學習，也就是通常都是Label好的資訊 (Ex: 透過已經蒐集到的股價資訊或者已經Labe...

Dan ‧ 2019-10-07

技術 以總統民調學習抽樣理論

技術 淺談機器學習的效能衡量指標 (4) -- 檢定力分析(Power Analysis)

技術 淺談機器學習的效能衡量指標 (3) -- 效能衡量指標與假設檢定的關聯

技術 淺談機器學習的效能衡量指標 (2) -- ROC/AUC 曲線

技術 淺談機器學習的效能衡量指標 (1) -- 準確率(Accuracy)、精確率(Precision)、召回率(Recall)

技術 【Day30】4th：現實案例&機器學習總結（含雜記）

技術 [Day-30] Transfer learning & Model Serving

技術 DAY[30]-機器學習介紹與實戰-心得

技術 [Day30] 數據分析相關工作之間的差異 & Google Machine Learning鐵人完賽心得

技術 【Day29】4th：現實案例－隱喻和政治傾向

技術 【Day28】4th：機器學習＋現實世界－癌症預測

技術 DAY[28]-Kaggle實戰 模型預測與答案輸出

技術 【Day27】3rd：Playground－訓練模型（by TensorFlow）#2

技術 [Day-27] 生成對抗網路 (GAN) 實作 Part II

技術 DAY[27]-Kaggle實戰 Boosting模型與Stacking

技術 【Day26】3rd：Playgrand－公平（Fairness）#1

技術 [Day-26] 生成對抗網路 (GAN) 實作 Part I

技術 DAY[26]-Kaggle實戰 模型準備-線性模型

技術 【Day25】3rd：Fairness－評估偏差（evaluating for bias）

技術 [Day-25] 生成對抗網路 (GAN) 介紹

技術 DAY[25]-Kaggle實戰 特徵處理(2)

技術 【Day24】3rd：Fairness之確定偏見（Identifying Bias）

技術 [Day-24] VAE(Variational AutoEncoder) 實作

技術 DAY[24]-Kaggle實戰 特徵新增

技術 【Day23】3rd：公平（Fairness）

技術 [Day 23] AutoEnoder 實作

技術 DAY[23]-Kaggle實戰 特徵轉換

技術 【Day22】3rd：數據依賴關係（Data Dependencies）

技術 DAY[22]-Kaggle實戰 補值與特徵新增(2)

技術 [Day-22] Unsupervised Learning - AutoEnocder介紹

At

技術以總統民調學習抽樣理論

技術淺談機器學習的效能衡量指標 (4) -- 檢定力分析(Power Analysis)

技術淺談機器學習的效能衡量指標 (3) -- 效能衡量指標與假設檢定的關聯

技術淺談機器學習的效能衡量指標 (2) -- ROC/AUC 曲線

技術淺談機器學習的效能衡量指標 (1) -- 準確率(Accuracy)、精確率(Precision)、召回率(Recall)

技術【Day30】4th：現實案例&機器學習總結（含雜記）

技術【Day29】4th：現實案例－隱喻和政治傾向

技術【Day28】4th：機器學習＋現實世界－癌症預測

技術 DAY[28]-Kaggle實戰模型預測與答案輸出

技術【Day27】3rd：Playground－訓練模型（by TensorFlow）#2

技術【Day26】3rd：Playgrand－公平（Fairness）#1

技術 DAY[26]-Kaggle實戰模型準備-線性模型

技術【Day25】3rd：Fairness－評估偏差（evaluating for bias）

技術 DAY[25]-Kaggle實戰特徵處理(2)

技術【Day24】3rd：Fairness之確定偏見（Identifying Bias）

技術 DAY[24]-Kaggle實戰特徵新增

技術【Day23】3rd：公平（Fairness）

技術 DAY[23]-Kaggle實戰特徵轉換

技術【Day22】3rd：數據依賴關係（Data Dependencies）

技術 DAY[22]-Kaggle實戰補值與特徵新增(2)