又撐過一個禮拜了,這禮拜是不是學了很多使用套件的方法呢?
那我們回顧這禮拜學的東西吧!
Day 16:
我們學習了如何使用threading與subprocess的套件,該如何在python中執行終端指令或者是該如何使用多線程,在threading段落中介紹的都只是表面,有更多可以玩的函式,可以參考這篇文章裡面有更詳細的解說與範例。
Day 17:
我們學了該如何簡單的爬蟲,在requests裡也有很多可以玩的,例如帶入cookie自動登入,但requests就沒有辦法像selenium一樣方便,例如點擊網頁元素導向網頁,requests就只能再使用requests.get()
一次,selenium只需要click()
就可以做到了。
Day 18:
我們學了如使用Beautifulsoup去搭配requests去輔助爬蟲,該如何利用find()
與find_all()
去查找網頁元素,相信大家也有一定了解,那下面也會開個小作業給讀者喔。
Day 19 ~ 20:
我們學了如何使用selenium去達成動態爬蟲,該如何用各個不同的標籤屬性去爬蟲,該如何傳送訊號給網頁,大家應該也很熟悉了吧,不訪多做幾次,或許會用的非常習慣也說不定喔。不得不說,感覺通篇都在講selenium的好
該如何利用requests去爬登入自己google帳號的youtube的資訊呢?(提示 1:headers,提示二:該資料與取得User-Agents的資料的地方接近)
如何利用selenium去爬google搜尋出來的各個結果的標籤呢?
承上兩題,我該如何讓兩隻程式同時執行互不干擾呢?(提示:利用函式or類別)