iT邦幫忙

鐵人檔案

2013 iT 邦幫忙鐵人賽
回列表

用python擷取網頁上的開放資訊(數據資料),分析及畫出圖表 系列

網路之中充滿了各種各樣的資料,有些數字會引起人們的好奇,適當的藉由程式語言的幫忙,分析比較差異,一方面解決疑惑,一方面滿足好奇心,整理好的數字也可以分享給朋友,一舉數得。
除了程式碼之後,還有圖和表。

參賽天數 21 天 | 共 22 篇文章 | 11 人訂閱 訂閱系列文 RSS系列文
DAY 1

用python抓網頁data,及做圖表之一:環境的設定

1。python的版本 2。用到的工具,畫圖:matplotlib,製表:pandas, 轉csv檔/抓網頁:build in standard library...

2013-09-16 ‧ 由 timloo 分享
DAY 2

用python抓網頁data,及做圖表之二:用到的模組練習

介紹csv, sqlite3, datetime 3個模組, 內建的模組,免安裝 import csv with open('D:\\Revenue\\sii_...

2013-09-17 ‧ 由 timloo 分享
DAY 3

用python抓網頁data,及做圖表之三:橫軸(x軸為日期datetime)

昨天的練習,有提到內建模組datetime的練習,卻沒有說明其用途。 datetime是個既熟悉又陌生的用語,大家都知道datetime型別其實是number(...

2013-09-18 ‧ 由 timloo 分享
DAY 4

用python抓網頁data,及做圖表之四:統計圖的加強,以月營收及月成交資訊為例

圖上加上一些說明,及資料整合。 之前算是手工抓資料來繪圖, 現在把http://white5168.blogspot.tw/2012/08/blog-pos...

2013-09-19 ‧ 由 timloo 分享
DAY 5

用python抓網頁data,及做圖表之五:抓網頁內建庫urllib及第三方庫BeautifulSoup的使用

筆者用urllib抓網頁,urllib在python2/3版本的差異頗大,有些是傳回值的型別不一樣,有些是方法,成員改寫掉了, 本文是用python3的版本。...

2013-09-20 ‧ 由 timloo 分享
DAY 6

用python抓網頁data,及做圖表之六:抓102年之後月營收的data,整合練習

試著把102年1~8月網頁上的營收資料,一口氣寫入sqlite3裏。 這次會用到更多python的字串處理函式,如split(':')-》以某個分隔符號切開字串...

2013-09-21 ‧ 由 timloo 分享
DAY 7

用python抓網頁data,及做圖表之七:抓網頁上的csv檔來用

有時候,網頁上的data除了產生表格外,會貼心的有列印,另存html, 另存csv的功能, 雖然抓網頁也不是很困難,但是有整理好的格式不用, 也說不過去了. 只...

2013-09-22 ‧ 由 timloo 分享
DAY 8

用python抓網頁data,及做圖表之八:將網頁上下載的整批csv檔寫入sqlite3

昨晚臨時有些突發狀況,沒仔細想清楚一些環節,進度拖慢了一些。 目前的csv檔格式如下: "102年 6177 達麗 月成交資訊(元,股)"...

2013-09-23 ‧ 由 timloo 分享
DAY 9

用python抓網頁data,及做圖表之九:matplotlib 做表及秀中文

表嵌在圖裏面。 驗証之前匯入sqlite3的data是否正確,並發換葉問一次打10個的精神,這次畫10家的今年一到八月的股價。 複習之前的指令。 光電業挑十家...

2013-09-24 ‧ 由 timloo 分享
DAY 10

用python抓網頁data,及做圖表之十:抓EPS, 左右兩種不同刻度的圖,圓餅圖

http://mops.twse.com.tw/mops/web/t164sb04EPS是菜籃族,號子族有玩股票的人大概都懂的專有名詞,它精簡的表示一家公司的獲...

2013-09-25 ‧ 由 timloo 分享