iT邦幫忙

machine learning相關文章
共有 713 則文章

技術 【Day28】4th:機器學習+現實世界-癌症預測

開始說明機器學習與現實世界的互動,本篇說明癌症預測 文章:ML Systems in the Real World: Cancer Prediction Go...

鐵人賽 AI & Data DAY 28

技術 DAY[28]-Kaggle實戰 模型預測與答案輸出

訓練模型 print('START Fit') print('stack_gen') stack_gen_model = stack_gen.fit(np.a...

技術 【Day27】3rd:Playground-訓練模型(by TensorFlow)#2

現在使用TensorFlow來訓練我們的這個模組。 以下會有幾個步驟:開始準備、製作特徵、以年齡當做分類的特徵、定義模型特徵、訓練深度神經網路模型、評估神經網路...

Towards Tensorflow 2.0 系列 第 27

技術 [Day-27] 生成對抗網路 (GAN) 實作 Part II

今天我們來實際來跑簡單的Dataset,就是 DL 101 資料集 - MNIST。透過較為簡單的Dataset 來理解像GAN這種相對難的演算法,應該能較容易...

鐵人賽 AI & Data DAY 27

技術 DAY[27]-Kaggle實戰 Boosting模型與Stacking

生成這些Boosting模型時,參數已經調整過,若是對調整超參數有其他想法也可以使用第16天的超參數調整哦! from sklearn.ensemble imp...

技術 【Day26】3rd:Playgrand-公平(Fairness)#1

進入遊戲區體驗Fairness的機器學習,將會練習之前所說的不同的差異以及用子組合,來評估模型性能。 文章 (本篇分成兩章文章) 開始前 資料:用成人普查收入...

Towards Tensorflow 2.0 系列 第 26

技術 [Day-26] 生成對抗網路 (GAN) 實作 Part I

今天我們來實作GAN,簡單複習一下,GAN的Component 有 Generator 以及 Discriminiator 。而 Generator 任務就是...

鐵人賽 AI & Data DAY 26

技術 DAY[26]-Kaggle實戰 模型準備-線性模型

資料的部分準備完畢之後,接下來最重要的就是模型的產生以及訓練了,在這裡我們先定義了線性模型的交叉驗證以及參數組合,方便之後進行使用。定義交叉驗證評分函數 imp...

技術 【Day25】3rd:Fairness-評估偏差(evaluating for bias)

在評估模型的時候,會發現模型與結果有誤差,模型無法針對我們的測試集反映出真正結果,這就是評估的偏差(evaluating for bias)。這時候就是需要用到...

Towards Tensorflow 2.0 系列 第 25

技術 [Day-25] 生成對抗網路 (GAN) 介紹

今天我們來討論最近很流行的GAN,而最近很多新聞或者很多Youtuber都在討論他的應用,Ex: DeepFake 或者一些人像修圖應用。都是GAN的應用。 G...

鐵人賽 AI & Data DAY 25

技術 DAY[25]-Kaggle實戰 特徵處理(2)

將特徵都整理的差不多之後,由於當初我們合併了Train以及Test兩個資料集,要在最後將原先的資料切割開,並簡單處理一下離群值。 # y為測試集 X = fin...

技術 【Day24】3rd:Fairness之確定偏見(Identifying Bias)

在資料中有哪些偏見會產生呢?讓我們看下去 文章:Fairness: Identifying Bias Missing Feature Values:我們的...

Towards Tensorflow 2.0 系列 第 24

技術 [Day-24] VAE(Variational AutoEncoder) 實作

今天我們來討論一個進化的AutoEncoder - Variational AutoEncoder。先回顧一下AutoEncoder的架構,AutoEncode...

鐵人賽 AI & Data DAY 24

技術 DAY[24]-Kaggle實戰 特徵新增

新增特徵 本篇文章將特徵之間的關係做一個簡單的連結並產生新的特徵,產生新特徵這個動作在連結不同要素的影響時是很重要的,例如同時購買a與b一個特徵,以及買a、買b...

技術 【Day23】3rd:公平(Fairness)

人對於自己在意的東西都會有所偏頗,可能在給予資料的時候就在不知不覺中進行篩選。要如何維持中立,不偏頗呢?這就是本篇所要探討的重點。 文章:Fairness 在...

Towards Tensorflow 2.0 系列 第 23

技術 [Day 23] AutoEnoder 實作

今天來實作昨天討論的AutoEncoder,簡單複習一下,AutoEndoer的架構其實就如同下圖source Input 資料後,會放到Neural Netw...

鐵人賽 AI & Data DAY 23

技術 DAY[23]-Kaggle實戰 特徵轉換

特徵調整 在這裡要使用一個較特殊的運算叫做boxcox,boxcox1p則是加上1之後才做boxcox避免過程中出現錯誤,boxcox的公式如下。 做完這個轉換...

技術 【Day22】3rd:數據依賴關係(Data Dependencies)

在程式開發中,對於程式的品質非常重要,我們有各個種測試方式測試,最常用的就是單元測試(Unit test)。但是機器學習沒有這樣的機制,只能用直接輸入數據,直接...

鐵人賽 AI & Data DAY 22

技術 DAY[22]-Kaggle實戰 補值與特徵新增(2)

延續上一次的補值,在特殊的行當中,我們可以從行本身的意義判斷出應該補的值,例如當車庫的屬性為空值,可能原因就是該棟房子並沒有車庫,因此這些相關的面積等等資訊都可...

Towards Tensorflow 2.0 系列 第 22

技術 [Day-22] Unsupervised Learning - AutoEnocder介紹

今天開始,我們來聊聊非監督式的學習。前面所提的演算法,大部分都是監督式學習,也就是通常都是Label好的資訊 (Ex: 透過已經蒐集到的股價資訊或者已經Labe...

鐵人賽 AI & Data DAY 21

技術 DAY[21]-Kaggle實戰 補值與特徵新增(1)

在上次的處理中尚未除去明顯的極端值,因此這次我們針對面積超過一定程度的資料進行刪除。 train = train[train.GrLivArea < 45...

Towards Tensorflow 2.0 系列 第 21

技術 [Day-21] Wide & Deep 推薦系統實作

今天討論的主題主要是Google這篇曾經在2016年release 在Google Play的app上所做的推薦系統,而他有被open source 在 Ten...

技術 【Day21】3rd:靜態推理vs動態推理

本篇要學習靜態和動態推理,這是在機器學習中所要選擇的兩種不同推理。 文章:Static vs. Dynamic Inference 在設計機器學習中,有一環要...

技術 【Day20】3rd:靜態與動態訓練(Static vs. Dynamic Training)

文章:Static vs. Dynamic Training 進行模型訓練方式依據資料是否會變動,將分成兩種方式:靜態(static)和動態(dynamic)...

Towards Tensorflow 2.0 系列 第 20

技術 [Day-20] 推薦系統介紹 (Recommendation System)

今天我們來討論推薦系統,現在大家的生活環境充滿了推薦系統的應用,不管是在Youtube聽音樂或者是在商城購物,都充斥著推薦系統的應用。什麼是推薦系統?推薦系統就...

鐵人賽 AI & Data DAY 20

技術 DAY[20]-Kaggle實戰-資料前處理與EDA

匯入與觀察資料 from google.colab import drive drive.mount('/content/gdrive') train = pd...

鐵人賽 自我挑戰組 DAY 23
機器學習入門 系列 第 23

技術 ML_Day23(Ridge Regression)

簡單回顧之前在介紹 Gradient Descent 及 ML入門(十五)Regularization(Solving overfitting)都有提到,在做...

鐵人賽 AI & Data DAY 13
一服見效的 AI 應用 系列 第 14

技術 Day 14:客服人力規劃(Workforce Planning) -- 線性規劃求解

前言 十幾年前到電信公司工作時,接到的第一個專案就是要幫客服中心安排人力班表,我們調查過很多國內外的WFM(Workforce Management)系統,通...

技術 【Day19】3rd:Google機器學習環境

本篇會講一些Google提供的機器學習之環境到底是怎樣,如何協助我們。文章:Production ML Systems 這是課程中描繪的圖片: 明顯的看得出來...

Towards Tensorflow 2.0 系列 第 19

技術 [Day-19] BERT 初探

Multi-label Text Classification using BERT – The Mighty Transformer 今天要來芝麻街上英文課囉...