iT邦幫忙

2024 iThome 鐵人賽

DAY 12
0
Python

時空序列分析-關鍵籌碼分析系列 第 12

爬蟲很好玩,獲取籌碼資訊有解? 動態網頁的爬蟲方式!

  • 分享至 

  • xImage
  •  

還記得之前提到了兩個籌碼資訊的困難點

在DAY3的文章

實作簡單的籌碼分析,資料從哪裡收集? 有資料集還是要自已爬? 的時候,

  1. 證交所的買賣日報表查詢系統只能拿到最近一天的籌碼資訊,而且還要自己用滑鼠在那邊按來按去,還要輸入驗證碼,自己下載下來。

在DAY9的文章

決定欄位! 天下沒有白吃的午餐,股價、籌碼資料的其他來源? 這篇文章也實驗過,

  1. FinMind平台在分點的籌碼資訊上不提供免費版(交出錢錢)

但我突發奇想了一下,想到了一個可能性(這可能是原創也可能不是 /images/emoticon/emoticon37.gif)
有點蠢有點好笑又有點料的做法,我自己都覺得荒謬@@

曾經我在DAY3的文章一開始,實作簡單的籌碼分析,資料從哪裡收集? 有資料集還是要自已爬?

這篇文章有說到,要免費取得資料,

除了證交所、各大平台,還有財經網站和銀行、證券的網站!

既然人家都把資料幫我整理好好了,不用就對不起他們了~(你說是不是 (誤

既然會寫爬蟲,那直接用python寫爬蟲去爬他們的網站!

(真是個小機靈鬼~)

而這次的網頁爬蟲,跟之前的有點不太一樣,之前那是靜態的,

因為是要爬取"網頁",會是動態網頁,所以還需要輔助工具!

除了之前的方法,依照以前寫爬蟲的經驗,有兩種解決方式可以處理需要大量重複性的操作:
尤其適合這種動態網頁爬蟲,

  1. 用動態網頁爬蟲-Selenium(這邊放彭彭老師的影片,很推薦這個頻道)
  2. 用自動化工具-PyAutoGUI (依靠模擬滑鼠、鍵盤的操作到達目的網頁或動態內容,也可填入資料)

這次還會用到python的一個套件Selenium,這個套件超棒!
還有美麗湯,以前聽老師上課,當老師說到beautifulSoup,腦海中自動翻譯成美麗湯
這湯是到底有多美麗?? (自己被自己笑抽

這次的目標對象是

DAY4 這篇文章 題目的靈感來源? 其他人都是怎麼做股票分析的? 說到的 富邦證券

因為是要進行"籌碼分析",而籌碼分析裡面有很多資料(有興趣的朋友可以研究看看)
這次我使用的是他們提供的主力進出 (如下圖)

因為新版網頁已經被修改成動態網頁,所以沒辦法從網址著手

(動態網頁是採用javascript的方式寫的,傳統靜態網頁要製作轉場或不同內容時則需要建立多個網頁)
https://ithelp.ithome.com.tw/upload/images/20240812/20168322BDhr77xUpU.png

想手動到達這個網頁,可以按照這個路徑找下去,Home > 市場訊息 > 國內股票 > 籌碼分析 > 主力進出

之前在畫K線圖參考的時候,結果在找資料中無意中發現了...(下圖)

https://ithelp.ithome.com.tw/upload/images/20240812/20168322IXLYQyklUx.png

第一個個股K線圖-2881點進去(如下圖)

https://ithelp.ithome.com.tw/upload/images/20240812/20168322M4rCwXFZ5j.png

嗯... 重點不是有點偏左的網頁排版,也不是K線圖

而是,這個網頁的網址是有路徑資料的,而且會動!!

https://fubon-ebrokerdj.fbs.com.tw/z/zc/zco/zco_2881.djhtm

(所以把直接把股票代號更換成其他的股票,就會直接跳轉到那檔股票的圖!)

比照上面的方式,我們也可以拿到主力進出的網頁網址!

https://fubon-ebrokerdj.fbs.com.tw/z/zc/zco/zco.djhtm?a=2881

(只不過這個應該是舊版的網站,沒事,資料正確而且一樣可以用就好)
(就如國中歷史課本學到,鄧小平說過的:「不管黑貓、白貓,會捉老鼠就是好貓~」)

今天說明了工具、目標對象,還有處理流程。

先到這裡告一段落~ 謝謝收看!(做研究去)
賣個關子,明天開始來動手做~

研究一下別人的方法,因為這個很好玩,但是也有點麻煩。
明天也會解釋為何用主力進出,還有如何抓不只前15名券商的方式。


參考文章&資料來源:

  1. 富邦證券
  2. Day 22 : PyAutoGUI,自動控制滑鼠跟鍵盤!
  3. PyAutoGUI : 使用Python控制電腦 - Yanwei Liu
  4. 動態網頁爬蟲第一道鎖 — Selenium教學:如何使用Webdriver、send_keys(附Python 程式碼)
  5. Selenium 函式庫- Python 網路爬蟲教學 - STEAM 教育學習網
  6. 個股K線圖-2881 - 技術分析 - 富邦證券

每日紀錄:
加權指數:收在21773點,上漲304點,補上了缺口,台股難道又要轉回多方行情了嗎?

每次學東西都會參考很多人的東西,需要一點時間吸收/images/emoticon/emoticon47.gif

超好玩,到底可以玩出甚麼花來(笑die

訂閱開啟小鈴鐺,別錯過明天的文章~(?

發文時間有點小跳tone,主要是自己安排做事情的順序一直在調整,
來應對一些突發狀況。 半夜寫完,來睏~


上一篇
python繪製股票K線圖第二彈! 上櫃與上市公司的股價爬蟲
下一篇
含金量滿滿的文章? Step(1/4):關鍵分點籌碼爬蟲,之前拿到的券商地點,要怎麼處理?
系列文
時空序列分析-關鍵籌碼分析31
圖片
  直播研討會
圖片
{{ item.channelVendor }} {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言