先前發文
DAY 01 : 參賽目的與規劃
DAY 02 : python3 virtualenv 建置
DAY 03 : python3 request
DAY 04 : 使用beautifulsoup4 和lxml
DAY 05 : select 和find 抓取tag
DAY 06 : soup解析後 list取值
DAY 07 : request_header_cookie 通過網頁18限制
DAY 08 : ppt內文爬取
DAY 09 : 資料處理 split replace strip
DAY 10 : python csv 寫入 和dict 合併
DAY 11 : python class function
DAY 12 : crawl 框架 scrapy 使用
DAY 13 : scrapy 架構
DAY 14 : scrapy pipeline data insert mongodb
DAY 15 : scrapy middleware proxy
DAY 16 : scrapy selenium
DAY 17 : scrapy 爬取js畫面資料(二)
DAY 18 : scrapy splash 爬取js畫面資料(三)
DAY 19 : python .env 使用
DAY 20 : python chartify 資料視覺化套件

pip3 install chartify
git clone'https://github.com/Kevin8701111/Raise_TW_chartify.git'

爬蟲下來的資料 最重要的就是應用 , 那在git裡有 台灣選舉區域人數的資料 還有twitch的資料

選舉的資料經過pandas資勞處理 , twitch經過爬蟲的資料篩選

目前都可以套入chartify裡 , 讓資料讓人更清楚得明白 上萬比的資料有什麼重要資訊可以取得

這裡先介紹其中一個爬蟲資料 , Twitch 的開台分類 , 是以每天的台灣時間20:00分 , range為一年的資料

1. scatter

ch = chartify.Chart(blank_labels = True, x_axis_type = 'datetime') ch.plot.scatter(data_frame = 你load進來的資料變數, x_column = '資料欄位', y_column = '資料欄位')

2. line

ch = chartify.Chart(blank_labels=True, x_axis_type='datetime') ch.plot.line(data_frame = 你load進來的資料變數, x_column = '資料欄位', y_column = '資料欄位', color_column='fruit')

3. area

ch = chartify.Chart(blank_labels=True, x_axis_type='datetime') ch.plot.area(data_frame = 你load進來的資料變數, x_column = '資料欄位', y_column = '資料欄位', color_column = 'fruit', stacked = True)

4. area + line

ch = chartify.Chart(blank_labels=True, x_axis_type='datetime') ch.plot.area(data_frame = 你load進來的資料變數, x_column = '資料欄位', y_column = '資料欄位', second_y_column = '資料欄位') ch.style.color_palette.reset_palette_order() ch.plot.line(data_frame = 你load進來的資料變數, x_column = '資料欄位', y_column = '資料欄位')

5. bar

ch = chartify.Chart(blank_labels=True, x_axis_type='categorical') ch.plot.bar(data_frame = 你load進來的資料變數, categorical_columns = '資料欄位', numeric_column = '資料欄位')

運作load.py 後 可以看到開出頁面並輸出圖形化的圖片

這樣就可以說明這份資料的其中一個意義 與 市場趨勢

那明天來講 資料的處理