iT邦幫忙

鐵人檔案

2024 iThome 鐵人賽
回列表
Python

Python大戰之網頁爬蟲 系列

「爬蟲」是現今很廣泛的技術之一,且目前已經應用在許多的領域上,像是金融、貿易、科技等,且爬蟲技術的門檻相對其他技術來說並不高,相較起來也比較適合初學者學習。於是我想透過這次鐵人賽的機會,來學習有關爬蟲的相關知識,並嘗試著實做相關的技術。

在此次的實作主題中,我主要會將我的學習分為幾個階段,分別為: 爬蟲研究、Python程式碼學習、以及實際應用。每個階段都有不同的學習目標,讓我可以按部就班地學習各個知識點,並能夠夯實基礎,逐步提升自己的能力。

參賽天數 13 天 | 共 13 篇文章 | 3 人訂閱 訂閱系列文 RSS系列文
DAY 11

[Day 11] 頻繁請求限制

在昨天學習如何有效地限制特定IP來訪,以避免大量的惡意攻擊後,今天我們要來學習另外的反爬蟲的相關技術,也就是昨天有說到的「頻繁請求限制」,那接下來就是今天的學習...

2024-09-25 ‧ 由 liao07211270 分享
DAY 12

[Day 12] 爬蟲環境設置-Python

其實我以為我在很久以前就已經設置完關於Python的所有內容了,但沒想到我在換電腦後,竟然完全沒有裝過python相關的程式...,也好,剛好可以讓我裝新一點的...

2024-09-26 ‧ 由 liao07211270 分享
DAY 13

[Day 13] 設置請求頭模擬瀏覽器行為

在前幾天瞭解完有關反爬蟲的大致概念,包括IP封鎖、頻繁請求限制後,我們就要來聊聊要如何「繞過反爬蟲」,換句話說,就是要怎麼樣才可以讓我們順利的爬蟲,不受到反爬蟲...

2024-09-27 ‧ 由 liao07211270 分享