iT邦幫忙

鐵人檔案

第 11 屆 iT 邦幫忙鐵人賽
回列表
AI & Data

Hands on Data Cleaning and Scraping 資料清理與爬蟲實作 系列

打醬油剛(蹣跚)完成第二屆機器學習百日馬拉松,想藉此重點複習資料清理的部分,並爬取有興趣的數據來實際操作。
Just finished my 100 days challenge on machine learning basics and feel like I need to review and actually get hands on cleaning the data. This challenge will (hopefully) also contains some real world data scraping and cleaning.

鐵人鍊成 | 共 30 篇文章 | 21 人訂閱 訂閱系列文 RSS系列文
DAY 1

Day01 Jupyter Notebook. Jupyter Notebook基本安裝與操作

此篇參考並縮寫幾個覺得寫得很詳細完整的教學,文內附上連結與出處。 Brief Introduction 簡介 Jupyter Notebook是一個介於編輯器及...

2019-09-02 ‧ 由 tgnco1218 分享
DAY 2

Day02 What is EDA (Exploratory Data Analysis)? 淺談何謂探索式資料分析

EDA (Exploratory Data Analysis) 探索式資料分析 簡單來說,探索式資料分析是運用視覺化或基本統計等工具,來對資料有個初步的認識,以...

2019-09-03 ‧ 由 tgnco1218 分享
DAY 3

Day03 Pandas DataFrame, Label Encoding and One Hot Encoding. Pandas基本資料類型、標籤編碼與獨熱編碼

編寫程式碼時,載入已經存在的套件能幫我們節省下許多時間,又載入套件時,常有許多約定成俗的縮寫方式,需要稍微注意一下。不僅是為了簡短程式碼,也為了日後能順利閱讀討...

2019-09-04 ‧ 由 tgnco1218 分享
DAY 4

Day04 Outlier and some Numpy. 離群值與Numpy操作

在蒐集資料的過程中,可能會因測量方法、人為疏失或實驗誤差等,導致所蒐集到的資料中出現個別值極度異於其它資料的值,即為離群值(Outlier);離群值可能導致分析...

2019-09-05 ‧ 由 tgnco1218 分享
DAY 5

Day05 Pandas skills: read in files. Pandas操作:讀取不同格式

先來介紹如何讀入(.csv)檔、以及Pandas一些基本常用指令解說: The first part will be about how to read in...

2019-09-06 ‧ 由 tgnco1218 分享
DAY 6

Day06 Pandas skills: Data Wrangling. Pandas操作:資料角力

資料角力(有時也稱為資料改寫),簡單來說是將資料整理成合乎需求的格式,以利後續視覺化或者套用機器學習模型。今天要來介紹一些運用Pandas操作進行資料角力的方式...

2019-09-07 ‧ 由 tgnco1218 分享
DAY 7

Day07 Pandas skills: Pandas cheat sheet. Pandas操作:快查表中文化

網路上有許多大神整理了各種快查表,本日進度就挑戰把其中一個個人覺得整理的很完善的快查表中文化。前兩天文章中提到的操作,都可以從這個快查表中查找。有需要的人歡迎下...

2019-09-08 ‧ 由 tgnco1218 分享
DAY 8

Day08 Basic Data Visualizations with Pandas 1/2. Pandas視覺化資料基礎 1/2

接下來五篇文章介紹一些視覺化資料的工具與功能,挑選不同類型的圖來說明。今天來討論Pandas中一些基本的資料視覺化功能。 The following 5 art...

2019-09-09 ‧ 由 tgnco1218 分享
DAY 9

Day09 Basic Data Visualizations with Pandas 2/2. Pandas視覺化資料基礎 2/2

# 載入所需套件 import packages import pandas as pd import numpy as np 圓餅圖 Pie Plot 圓餅...

2019-09-10 ‧ 由 tgnco1218 分享
DAY 10

Day10 Data Visualization Tools: Matplotlib 視覺化資料工具:Matplotlib

Matplotlib是Python的2D可視化操作界面,歷史悠久、教學資源豐富,但繪圖步驟較為繁複且繪圖風格略顯單調。以下介紹一些Matplotlib可以繪圖的...

2019-09-11 ‧ 由 tgnco1218 分享