iT邦幫忙

machine learning相關文章
共有 337 則文章

技術 淺談機器學習的效能衡量指標 (4) -- 檢定力分析(Power Analysis)

前言 上一次談到『假設檢定』(Hypothesis Testing),它可以檢定一項實驗是否有顯著性的效果,但是,我們要蒐集多少樣本才能驗證實驗的可靠度呢? 這...

技術 淺談機器學習的效能衡量指標 (3) -- 效能衡量指標與假設檢定的關聯

前言 機器學習經過訓練(Trainning)、評估(Evaluation)後,就可以得到準確率(Accuracy)、精確率(Precision)、召回率(Rec...

技術 淺談機器學習的效能衡量指標 (2) -- ROC/AUC 曲線

前言 上一篇談到準確率(Accuracy)、精確率(Precision)、召回率(Recall)、F1 Score,它們適用在不同的場景,接著我們再來討論『RO...

技術 淺談機器學習的效能衡量指標 (1) -- 準確率(Accuracy)、精確率(Precision)、召回率(Recall)

前言 初接觸機器學習時,常會給幾個效能衡量指標搞得一個頭兩個大: 混淆矩陣(Confusion Matrix)。 準確率(Accuracy)、精確率(Prec...

技術 【Day30】4th:現實案例&機器學習總結(含雜記)

案例說明中,google有提供以下的建議: (文章:ML Systems in the Real World: Guidelines) (列表中會提供相近的本系...

Towards Tensorflow 2.0 系列 第 30

技術 [Day-30] Transfer learning & Model Serving

今天是鐵人賽的最後一天,我想說來聊聊 Transferring learning 以及 Model serving。今天也會有簡單的Colab實作 (Trans...

鐵人賽 AI & Data DAY 30

技術 DAY[30]-機器學習介紹與實戰-心得

實戰完整程式碼 不知不覺就經過了30天的文章考驗,剛開始的幾天較有餘裕,文章的質量也比較高一些,但之後隨著比賽以及開學的上課時間影響,文章質量有所下降,對讀者還...

技術 [Day30] 數據分析相關工作之間的差異 & Google Machine Learning鐵人完賽心得

今天是最後一天了,終於可以完賽,回顧這三十天來分享了好多機器學習相關的東西,自己也有許多的收穫,除了分享一下完賽心得,我們今天也來探討一下數據分析相關工作之間的...

技術 【Day29】4th:現實案例-隱喻和政治傾向

google和研究文學的教授一同研究,看能不能用隱喻的作品資料,去預測作者的政治傾向。在完成模型後,他們發現準確率超高,到底是為什麼呢? 文章:ML Syste...

技術 【Day28】4th:機器學習+現實世界-癌症預測

開始說明機器學習與現實世界的互動,本篇說明癌症預測 文章:ML Systems in the Real World: Cancer Prediction Go...

鐵人賽 AI & Data DAY 28

技術 DAY[28]-Kaggle實戰 模型預測與答案輸出

訓練模型 print('START Fit') print('stack_gen') stack_gen_model = stack_gen.fit(np.a...

技術 【Day27】3rd:Playground-訓練模型(by TensorFlow)#2

現在使用TensorFlow來訓練我們的這個模組。 以下會有幾個步驟:開始準備、製作特徵、以年齡當做分類的特徵、定義模型特徵、訓練深度神經網路模型、評估神經網路...

Towards Tensorflow 2.0 系列 第 27

技術 [Day-27] 生成對抗網路 (GAN) 實作 Part II

今天我們來實際來跑簡單的Dataset,就是 DL 101 資料集 - MNIST。透過較為簡單的Dataset 來理解像GAN這種相對難的演算法,應該能較容易...

鐵人賽 AI & Data DAY 27

技術 DAY[27]-Kaggle實戰 Boosting模型與Stacking

生成這些Boosting模型時,參數已經調整過,若是對調整超參數有其他想法也可以使用第16天的超參數調整哦! from sklearn.ensemble imp...

技術 【Day26】3rd:Playgrand-公平(Fairness)#1

進入遊戲區體驗Fairness的機器學習,將會練習之前所說的不同的差異以及用子組合,來評估模型性能。 文章 (本篇分成兩章文章) 開始前 資料:用成人普查收入...

Towards Tensorflow 2.0 系列 第 26

技術 [Day-26] 生成對抗網路 (GAN) 實作 Part I

今天我們來實作GAN,簡單複習一下,GAN的Component 有 Generator 以及 Discriminiator 。 而 Generator 任務就...

鐵人賽 AI & Data DAY 26

技術 DAY[26]-Kaggle實戰 模型準備-線性模型

資料的部分準備完畢之後,接下來最重要的就是模型的產生以及訓練了,在這裡我們先定義了線性模型的交叉驗證以及參數組合,方便之後進行使用。 定義交叉驗證評分函數 im...

技術 【Day25】3rd:Fairness-評估偏差(evaluating for bias)

在評估模型的時候,會發現模型與結果有誤差,模型無法針對我們的測試集反映出真正結果,這就是評估的偏差(evaluating for bias)。這時候就是需要用到...

Towards Tensorflow 2.0 系列 第 25

技術 [Day-25] 生成對抗網路 (GAN) 介紹

今天我們來討論最近很流行的GAN,而最近很多新聞或者很多Youtuber都在討論他的應用,Ex: DeepFake 或者一些人像修圖應用。都是GAN的應用。 G...

鐵人賽 AI & Data DAY 25

技術 DAY[25]-Kaggle實戰 特徵處理(2)

將特徵都整理的差不多之後,由於當初我們合併了Train以及Test兩個資料集,要在最後將原先的資料切割開,並簡單處理一下離群值。 # y為測試集 X = fin...

技術 【Day24】3rd:Fairness之確定偏見(Identifying Bias)

在資料中有哪些偏見會產生呢?讓我們看下去 文章:Fairness: Identifying Bias Missing Feature Values: 我們...

Towards Tensorflow 2.0 系列 第 24

技術 [Day-24] VAE(Variational AutoEncoder) 實作

今天我們來討論一個進化的AutoEncoder - Variational AutoEncoder。先回顧一下AutoEncoder的架構,AutoEncode...

鐵人賽 AI & Data DAY 24

技術 DAY[24]-Kaggle實戰 特徵新增

新增特徵 本篇文章將特徵之間的關係做一個簡單的連結並產生新的特徵,產生新特徵這個動作在連結不同要素的影響時是很重要的,例如同時購買a與b一個特徵,以及買a、買b...

技術 【Day23】3rd:公平(Fairness)

人對於自己在意的東西都會有所偏頗,可能在給予資料的時候就在不知不覺中進行篩選。要如何維持中立,不偏頗呢?這就是本篇所要探討的重點。 文章:Fairness 在...

Towards Tensorflow 2.0 系列 第 23

技術 [Day 23] AutoEnoder 實作

今天來實作昨天討論的AutoEncoder,簡單複習一下,AutoEndoer的架構其實就如同下圖 source Input 資料後,會放到Neural Ne...

鐵人賽 AI & Data DAY 23

技術 DAY[23]-Kaggle實戰 特徵轉換

特徵調整 在這裡要使用一個較特殊的運算叫做boxcox,boxcox1p則是加上1之後才做boxcox避免過程中出現錯誤,boxcox的公式如下。 做完這個轉...

技術 【Day22】3rd:數據依賴關係(Data Dependencies)

在程式開發中,對於程式的品質非常重要,我們有各個種測試方式測試,最常用的就是單元測試(Unit test)。但是機器學習沒有這樣的機制,只能用直接輸入數據,直接...

鐵人賽 AI & Data DAY 22

技術 DAY[22]-Kaggle實戰 補值與特徵新增(2)

延續上一次的補值,在特殊的行當中,我們可以從行本身的意義判斷出應該補的值,例如當車庫的屬性為空值,可能原因就是該棟房子並沒有車庫,因此這些相關的面積等等資訊都可...

Towards Tensorflow 2.0 系列 第 22

技術 [Day-22] Unsupervised Learning - AutoEnocder介紹

今天開始,我們來聊聊非監督式的學習。前面所提的演算法,大部分都是監督式學習,也就是通常都是Label好的資訊 (Ex: 透過已經蒐集到的股價資訊或者已經Labe...

鐵人賽 AI & Data DAY 21

技術 DAY[21]-Kaggle實戰 補值與特徵新增(1)

在上次的處理中尚未除去明顯的極端值,因此這次我們針對面積超過一定程度的資料進行刪除。 train = train[train.GrLivArea < 45...