iT邦幫忙

鐵人檔案

2022 iThome 鐵人賽
回列表
自我挑戰組

養爬蟲的人學爬蟲 系列

在30天內摸索爬蟲的世界

鐵人鍊成 | 共 30 篇文章 | 13 人訂閱 訂閱系列文 RSS系列文
DAY 21

【Day 21】在Dcard上自動向下捲動吧!(實戰Selenium 1/2)

閒聊昨天我們使用Selenium爬了Dcard,今天要來使用模擬使用者的情況來繼續爬Dcard 。 預期 使用者可以捲動頁面(捲動次數和文章數)。 爬取目前的...

2022-10-04 ‧ 由 teresawang 分享
DAY 22

【Day 22】認識並實作哈希值(hashlib模組)

閒聊在前兩天進行了Dcard的爬蟲後,我們今天暫時緩和一下,來認識一個Python的模組-hashlib模組。 什麼是habshlib模組habshlib模組是...

2022-10-05 ‧ 由 teresawang 分享
DAY 23

【Day 23】不用帳號密碼也可以登錄Instagram嗎?(實戰Selenium 1/2)

閒聊今天我們要繼續來爬蟲了!這次要來挑戰爬取Instagram! 預期不用輸入帳號密碼即可登錄。 實作首先我們先用Selenium寫一個程式開啟Instagra...

2022-10-06 ‧ 由 teresawang 分享
DAY 24

【Day 24】將所有貼文都點讚吧!(實戰Selenium 1/2)

閒聊昨天試著用Selenium和cookies做了不用登錄就可以進到Instagram裡,今天要來試著對貼文自動點讚。 預期透過Selenium的功能,鎖定想點...

2022-10-07 ‧ 由 teresawang 分享
DAY 25

【Day 25】想在Discord自動留言嗎?

閒聊在進行的兩天的Instagram爬蟲之後,今天要來嘗試讓程式碼執行在Discord自動留言。 預期將帳號、密碼存於 .env檔案中,執行程式後在指定伺服器和...

2022-10-08 ‧ 由 teresawang 分享
DAY 26

【Day 26】用Postman儲存或測試API

閒聊昨天嘗試用Selenium的功能在Discord自動留言,今天我們要來看看API相關的事物。 為什麼用Postman因為Postman可以在爬蟲的時候,管理...

2022-10-09 ‧ 由 teresawang 分享
DAY 27

【Day 27】Google API與爬蟲

閒聊昨天第一次用Postman來看API,也簡單介紹了一些功能。 Google API在使用Google API服務時,會有類似Access Token機制,需...

2022-10-10 ‧ 由 teresawang 分享
DAY 28

【Day 28】什麼是反爬蟲?

閒聊在前兩天認識了相關的API事項後,剛好這個鐵人賽也差不多快要結束了。既然之前都是在學習爬蟲,那最後的幾天我們就來稍微看看什麼是反爬蟲。 反爬蟲反爬蟲這項技術...

2022-10-11 ‧ 由 teresawang 分享
DAY 29

【Day 29】反爬蟲技術初步認識

閒聊昨天初步對反爬蟲的概念跟常見的樣式有點認識後,今天想來試著練習一點反爬蟲的技術。 驗證碼Captcha目前最常見的反爬蟲就是驗證碼方式,這裡會分為圖片辨識跟...

2022-10-12 ‧ 由 teresawang 分享
DAY 30

【Day 30】終於完賽啦!這30天以來的感想

終於到第30天了!最後一篇就來說說這一個月以來的感想吧。 準備過程在升大三的暑假時就知道系上的必修課有規定要參加鐵人賽,但七月的時候再忙其他比賽,加上還去打工一...

2022-10-13 ‧ 由 teresawang 分享