iT邦幫忙

2023 iThome 鐵人賽

DAY 21
0

又撐過一個禮拜了,這禮拜是不是學了很多使用套件的方法呢?

那我們回顧這禮拜學的東西吧!

Day 16:
我們學習了如何使用threading與subprocess的套件,該如何在python中執行終端指令或者是該如何使用多線程,在threading段落中介紹的都只是表面,有更多可以玩的函式,可以參考這篇文章裡面有更詳細的解說與範例。

Day 17:
我們學了該如何簡單的爬蟲,在requests裡也有很多可以玩的,例如帶入cookie自動登入,但requests就沒有辦法像selenium一樣方便,例如點擊網頁元素導向網頁,requests就只能再使用requests.get()一次,selenium只需要click()就可以做到了。

Day 18:
我們學了如使用Beautifulsoup去搭配requests去輔助爬蟲,該如何利用find()find_all()去查找網頁元素,相信大家也有一定了解,那下面也會開個小作業給讀者喔。

Day 19 ~ 20:
我們學了如何使用selenium去達成動態爬蟲,該如何用各個不同的標籤屬性去爬蟲,該如何傳送訊號給網頁,大家應該也很熟悉了吧,不訪多做幾次,或許會用的非常習慣也說不定喔。
不得不說,感覺通篇都在講selenium的好

這邊還是要再跟各位提醒一次,爬蟲不要短時間同時爬同一個網站太多次,可能會造成網站崩潰、或者是IP被封鎖喔。

課題

試使用這禮拜學的套件去完成給自己的挑戰吧!

  1. 該如何利用requests去爬登入自己google帳號的youtube的資訊呢?(提示 1:headers,提示二:該資料與取得User-Agents的資料的地方接近)

  2. 如何利用selenium去爬google搜尋出來的各個結果的標籤呢?

  3. 承上兩題,我該如何讓兩隻程式同時執行互不干擾呢?(提示:利用函式or類別)


上一篇
[Day 20] 初見selenium(下)
下一篇
[Day 22] 發送天氣預報結果給使用者吧
系列文
用30天打好Python、LineBot的基礎&基本應用30
圖片
  直播研討會
圖片
{{ item.channelVendor }} {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言