iT邦幫忙

big data相關文章
共有 73 則文章
鐵人賽 Big Data DAY 14

達標好文 技術 [第 14 天] 常用屬性或方法(3)Data Frame

除了 Python 基本的資料結構(list,tuple 與 dictionary)以及昨天學習筆記提到的 ndarray,還記得我們在 [第 06 天] 資料...

鐵人賽 Big Data DAY 18

技術 [第 18 天] 資料視覺化 matplotlib

在我們昨天的文章 [第 17 天] 資料角力有提到,進行資料角力(Data wrangling)的目的多半是為了後續的資料視覺化或者建立機器學習的模型。R 語言...

鐵人賽 Big Data DAY 16

達標好文 技術 [第 16 天] 網頁解析

並不是所有的資料都能這麼方便地以表格式資料(Tabular data),EXCEL 試算表或者 JSON 載入工作環境,有時候我們的資料散落在網路不同的角落裡,...

鐵人賽 Big Data DAY 22

技術 [第 22 天] 機器學習(2)複迴歸與 Logistic 迴歸

我們今天要繼續使用 scikit-learn 機器學習套件延續昨天的線性迴歸,練習一個複迴歸以及一個 Logistic 迴歸。如果你還記得 scikit-lea...

鐵人賽 Big Data DAY 23

技術 [第 23 天] 機器學習(3)決策樹與 k-NN 分類器

我們今天要繼續練習 scikit-learn 機器學習套件,還記得在昨天有提到 Logistic 迴歸雖然冠有迴歸的名稱,但實際上是一個二元分類(Binary...

鐵人賽 Big Data DAY 29

達標好文 技術 [第 29 天] 深度學習(3)MNIST 手寫數字辨識

我們今天繼續練習神經網絡的套件 TensorFlow,在學習過程中,不論是視覺化或者機器學習的主題,我們使用了幾個常見的玩具資料(Toy datasets),像...

鐵人賽 Big Data DAY 24

達標好文 技術 [第 24 天] 機器學習(4)分群演算法

我們今天依舊要繼續練習 scikit-learn 機器學習套件,經過三天的監督式學習(迴歸與分類)實作,稍微變換一下心情來練習非監督式學習中相當重要的分群演算法...

鐵人賽 Big Data DAY 27

技術 [第 27 天] 深度學習 TensorFlow

在過去幾天我們與功能強大的機器學習套件 scikit-learn 相處得還算融洽,不難發現我們對於 scikit-learn 的認識其實僅止於冰山一角,它有著包...

鐵人賽 Big Data DAY 13

技術 [第 13 天] 常用屬性或方法(2)ndarray

我們在昨天的學習筆記討論了 Python 基本變數類型與資料結構可以應用的屬性或方法,除了基本的資料結構以外,你是否還記得 Python 可以透過引入 nump...

達標好文 技術 20個網頁抓取工具快速抓取網站

網絡爬行(也稱為網絡抓取,屏幕抓取)已廣泛應用於當今的許多領域。 在網絡爬蟲工具進入公眾之前,對於沒有編程技能的普通人來說,這是一個神奇的詞。 它的高門檻阻礙了...

鐵人賽 Big Data DAY 26

技術 [第 26 天] 機器學習(6)隨機森林與支持向量機

我們今天繼續練習 Python 的 scikit-learn 機器學習套件,延續 [第 25 天] 機器學習(5)整體學習,討論倍受歡迎的分類器隨機森林(Ran...

鐵人賽 Big Data DAY 19

技術 [第 19 天] 資料視覺化(2)Seaborn

使用 matplotlib 建立一個圖表的概念是組裝它提供的基礎元件,像是圖表類型、圖例或者標籤等元件。 Seaborn 套件是以 matplotlib 為基礎...

鐵人賽 Big Data DAY 4

技術 [第 04 天] 資料結構 List,Tuple 與 Dictionary

我們今天要從元素(ingredients)邁向結構(collections),這句話是什麼意思?如果你回顧一下前幾天的程式碼範例,會發現我們只有在物件中指派一個...

鐵人賽 學生 DAY 4

技術 Data Mining:Day 4 - Data Mining 工具介紹 - Weka

Weka 是...? Weka (Waikato Environment for Knowledge Analysis),是一套提供 data mining...

鐵人賽 Big Data DAY 1

達標好文 技術 [第 01 天] 建立開發環境與計算機應用

從事資料科學相關工作的人,免不了在起步時都會思索:「假如時間有限,我應該選擇學習 R 語言或者 Python?」網路上相關的討論串已經太多,既然前提是「時間有限...

鐵人賽 Big Data DAY 21

達標好文 技術 [第 21 天] 機器學習 玩具資料與線性迴歸

我們在 [第 17 天] 資料角力提過,資料角力的目的是為了視覺化或者機器學習模型需求,必須將資料整理成合乎需求的格式。資料視覺化聽來直觀,那麼關於機器學習呢?...

鐵人賽 Big Data DAY 28

技術 [第 28 天] 深度學習(2)TensorBoard

我們今天繼續練習神經網絡的套件 TensorFlow,在昨天的第一個實作中我們建立一個很單純的神經網絡,利用梯度遞減(Gradient descent)的演算法...

鐵人賽 Big Data DAY 6

技術 [第 06 天] 資料結構(3)Data Frame

截至 2016-12-06 上午 7 時第 8 屆 iT 邦幫忙各組的鐵人分別是 46、8、12、12、6 與 58 人,我們想要用一個表格來紀錄參賽的組別與鐵...

鐵人賽 Big Data DAY 15

技術 [第 15 天] 載入資料

截至目前為止我們在學習筆記練習的資料結構,不論是 Python 內建的 list,tuple 或 dictionary,還是引用 numpy 套件與 panda...

鐵人賽 Big Data DAY 30

技術 [第 30 天] 深度學習(4)卷積神經網絡與鐵人賽總結

我們今天會練習使用神經網絡的套件 TensorFlow 來建立我們的第一個深度學習模型:卷積神經網絡(Convolutional Neural Network,...

鐵人賽 Big Data DAY 25

技術 [第 25 天] 機器學習(5)整體學習

我們今天仍然繼續練習 Python 的 scikit-learn 機器學習套件,還記得在 [第 23 天] 機器學習(3)決策樹與 k-NN 分類器中我們建立了...

鐵人賽 Big Data DAY 11

達標好文 技術 [第 11 天] 物件導向(2)Python

Everything in Python, from numbers to modules, is an object.Bill Lubanovic 經歷...

鐵人賽 Big Data DAY 17

技術 [第 17 天] 資料角力

我們現在面對表格式資料(Tabular data),Excel 試算表,JSON 或者網頁資料時有了相當程度的自信,透過 pandas、requests 與 B...

鐵人賽 Big Data DAY 20

技術 [第 20 天] 資料視覺化(3)Bokeh

我們前兩天討論的 matplotlib 與 Seaborn 套件基本上已經可以滿足絕大多數的繪圖需求,唯一美中不足的一點是這些圖形都是靜態(Static)的,如...

鐵人賽 Big Data DAY 3

技術 [第 03 天] 變數類型的轉換

不同的變數類型之間並不是壁壘分明,井水不犯河水,比如在 Python 中 True/False 在與數值作加減運算的時候就會自動地被轉換為 1 與 0,然而在一...

鐵人賽 Big Data DAY 2

技術 [第 02 天] 基本變數類型

暸解變數類型是學習程式語言的基本功之一(其他像是資料結構,流程控制或者迭代語法也歸類於基本功),它的枯燥無味常讓初學者為之怯步,因此有很多人會喜歡先從應用端:像...

鐵人賽 Big Data DAY 7

技術 [第 07 天] 迴圈與流程控制

截至 2016-12-07 上午 11 時第 8 屆 iT 邦幫忙各組的鐵人分別是 49、8、12、12、6 與 61 人,我們想要在命令列上一一輸出這六組的鐵...

鐵人賽 Big Data DAY 5

技術 [第 05 天] 資料結構(2)ndarray

截至 2016-12-05 上午 11 時第 8 屆 iT 邦幫忙各組的鐵人分別是 46、8、11、11、4 與 56 人,我們想計算參賽鐵人們完賽後各組的總文...

鐵人賽 Big Data DAY 10

技術 [第 10 天] 物件導向 R 語言

R, at its heart, is a functional programming language.Hadley Wickham R 語言本質上是一...

鐵人賽 Big Data DAY 9

技術 [第 09 天] 函數(2)

一但體驗到自訂函數的威力與函數型編程的美觀,似乎開始有種回不去的感覺,好想要回頭把過去撰寫的每一段程式都拿來改寫成函數型編程的結構。我們再多花一天的時間研究函數...