iT邦幫忙

machine learning相關文章
共有 713 則文章
鐵人賽 AI & Data
全民瘋AI系列2.0 系列 第 31

技術 [全民瘋AI系列2.0] 完賽總結

全民瘋AI系列2.0完賽總結 不知不覺就參加了三屆iT邦鐵人賽,很高興能夠藉由此活動分享經驗與知識。雖然這三十天過程很辛苦,但也透過這種方式督促我整理這些內容。...

鐵人賽 AI & Data DAY 16

技術 17 Autoencoder

既然前一篇提到學習特徵是一件重要的事,那麼我們就來講講 autoencoder 吧! Autoencoder 就是一個 unsupervised 方法,試圖學習...

鐵人賽 AI & Data DAY 15

技術 [Day 15] SHAP實作:實戰演練SHAP解釋方法

昨天已經瞭解了 SHAP 套件背後的核心技術。SHAP 提供多種解釋工具,可應用於不同類型的模型: KernelExplainer(Kernel SHAP):...

技術 【Day4】First:損失函數

機器學習的目標,就是要預測未來,預測能越準越好,但是要怎麼知道準不準確呢?這時候「損失函數」(loss function)就很好用了!當損失函數越小,表示這個m...

鐵人賽 AI & Data DAY 8

技術 DAY[8]-數據前處理(2) 補值與EDA(2)

接續上次的EDA,我們接著觀察每個特徵的分布狀況,使用seaborn可以快速的將數據的分布圖繪製出來 from scipy.stats import norm...

鐵人賽 Everything on Azure DAY 3

技術 Azure Machine Learning Studio 資料前處理 - 資料格式轉換 Data Format Conversions

Azure Machine Learning Studio 的 Data Format Conversions 可將資料集的資料做格式轉換,有以下5種: Co...

技術 [Day07]資料的流動,以及訓練與預測處理的差別

這篇其實又再推坑GCP啦!主要會講到DataFlow和一些TensorFlow耶~。↓↓↓↓↓正文↓↓↓↓↓ Stream Data 以及 Batch Dat...

技術 [ML] Pipeline無法縮放目標之解決方法

本偏示範了如何將Pipeline與TransformedTargetRegressor結合,前者負責處理輸入特徵的縮放;後者針對目標輸出作縮放。若有更進一步需求...

鐵人賽 AI & Machine Learning DAY 27
到底是在learning什麼拉 系列 第 27

技術 [Day26] Deploying machine learning as a service

Deploying an ML service 截至目前為止,我們已經大概知道如何用資料來建立 machine learning 的模組 以及如何評量它的質量,...

鐵人賽 AI & Data DAY 14

技術 DAY[14]-機器學習(5) 變異(variance)與偏誤(bias)

我們都知道機器學習最常見的指標就是準確程度,不論是迴歸類型的模型還是分類的模型,都有衡量準確度的方法,但是在一般的場合裡,我們是不會有正確的答案可以提供驗證的,...

鐵人賽 AI & Data DAY 24

技術 Day 24 LSTM、GRU如何實作?

LSTM、GRU如何實作? 今天我們要來實作LSTM以及GRU。 前置作業 我們使用Colab來當作我們的實作平台,並使用Keras來完成。 資料集 我們使用G...

鐵人賽 AI & Machine Learning DAY 22
到底是在learning什麼拉 系列 第 22

技術 [day 21] 深度學習-1

Searching for images: A case study in deep learning 接下來這個章節將會談到機器學習中的一個新領域 deep...

鐵人賽 AI & Data DAY 14

技術 [Day 14] 改善 Airbnb 的房源排序模型(上)- NDCG 介紹

昨天 Skylar 訂完露營和烤肉用具後,今天他想在 Airbnb 上搜尋適合渡假的房源,而當他在瀏覽時,Airbnb 是如何排序出 Skylar 看到的頁面呢...

鐵人賽 AI & Data DAY 26

技術 DAY[26]-Kaggle實戰 模型準備-線性模型

資料的部分準備完畢之後,接下來最重要的就是模型的產生以及訓練了,在這裡我們先定義了線性模型的交叉驗證以及參數組合,方便之後進行使用。定義交叉驗證評分函數 imp...

鐵人賽 AI & Data DAY 4

技術 DAY04 淺談資料科學與Machine Learning

一、何謂資料科學 資料科學白話來講,就是透過資料數據來解決問題的一門科學,我們在得知客戶的需求、環境限制等因素後,利用能蒐集到的資料建立一套「模型」,透過模型的...

鐵人賽 AI & Machine Learning DAY 3

技術 [day 2] 回歸分析-2

Regression 沿著昨天的結論,我想問的是,僅僅使用一條直線來擬和資料,這件模型夠好嗎? Adding higher order effects 我們求出...

鐵人賽 AI & Data DAY 28

技術 DAY[28]-Kaggle實戰 模型預測與答案輸出

訓練模型 print('START Fit') print('stack_gen') stack_gen_model = stack_gen.fit(np.a...

鐵人賽 AI & Data DAY 9

技術 [Day 09] 建立機器學習模型 — Andrew Ng 大神說要這樣做

AI system = Code (Algorithm/Model) + Data TL;DR 建立 ML 系統時,要把 AI system = Code ...

鐵人賽 Everything on Azure DAY 24
Azure Machine Learning Studio 系列 第 24

技術 Azure Machine Learning Studio 使用 Python - Execute Python Script

Python 有許多數據分析的套件,包含: NumPy (Numerical Python):支援高階大量的維度陣列與矩陣運算,此外也針對陣列運算提供大量的數...

鐵人賽 AI & Data DAY 12
跟著Google學ML 系列 第 12

技術 [Day 12] Representation

Ref.: Representation 一直想不到最好的翻譯,Google一下找到資料科學協會說的: 機器學習分成三個主要部分:表現 (Represen...

鐵人賽 自我挑戰組 DAY 10
機器學習入門 系列 第 10

技術 ML_Day10(Gradient Descent)

簡單回顧在ML_Day5(Linear Regression Introduction)有介紹什麼是Gradient Descent,就是對loss func...

鐵人賽 AI & Data DAY 7

技術 ML專案的特徵工程為什麼存在?包含哪些層面?怎麼練手感?

在討論MLOps的過程當中,許多客戶會針對他們有興趣的事情提出不同的問題,像是:模型監測、安全性、常見案例、資料的隱私處理等等。其中一次在談論AWS的ML Le...

鐵人賽 AI & Data DAY 5

技術 Day 5 GAN如何實現

GAN如何實現 今天我們就要來實際來實作一個GAN!code參考這篇製作simple_keras_GAN 前置作業 我們使用Colab來當作我們的實作平台,並使...

鐵人賽 AI & Data DAY 2

技術 回歸與分類-ML問題的兩大分類

在上一篇文中,我們介紹了ML問題的兩個主要分類。現在讓我們更詳細的來深入學習這兩者的差別吧! 回歸與分類   回到上篇文章的餐廳例子,我們想要利用客人帳單的...

技術 [PSO文獻2]Adaptive Particle Swarm Optimization

2020.06.24 更新錯誤的Schwefel,現在已經收斂到跟原作者一樣好了 0. 前言: 本篇主要是紀錄Adaptive Particle Swarm...

鐵人賽 自我挑戰組 DAY 17
機器學習入門 系列 第 17

技術 ML_Day17(隨機森林(Random Forest))

介紹Random Forest的基本原理是,結合多顆CART樹(CART樹為使用GINI算法的決策樹),並加入隨機分配的訓練資料,以大幅增進最終的運算結果。顧...

鐵人賽 AI & Data DAY 6

技術 07 標準 SVM

雖然標題是說"標準" SVM,不過模型這種東西從來就沒有什麼標準,有的不過是變體。 所以這篇是要跟大家總結一下我們一般在用的 SVM 模型的...

鐵人賽 Everything on Azure DAY 16
Azure Machine Learning Studio 系列 第 16

技術 Azure Machine Learning Studio 交叉驗證 Cross Validate Model

一般我們會將資料集樣本分為兩部分,約 70% 當作訓練集,用來建立模型,另外 30% 當作測試集,用來測試訓練好的模型效能。但也有另一種做法就是交叉驗證(Cro...

鐵人賽 Everything on Azure DAY 28
Azure Machine Learning Studio 系列 第 28

技術 Azure Machine Learning Studio 將實驗發佈成 Web Service

在 Azure Machine Learning Studio 完成實驗後,可以將模型發佈成 Web Service,在 Azure 上運行,從不同的應用程式中...

鐵人賽 自我挑戰組 DAY 13

技術 Day 13: 人工神經網路初探 激活函數(上)

激活函數 Activation Function 數學方法去決定neuron輸出叫做激活函數(activation function)但neuron的輸出並不是...