iT邦幫忙

2018 iT 邦幫忙鐵人賽
DAY 22
0
DevOps

Puppeteer系列 第 22

Puppeteer & Facebook

介紹
Facebook 有提供API可以 Fetch 資料 不過現在時間內可以打API的次數越來越少了,所以就可以透過模擬前端操作來撈資料

Facebook 的原理是利用拉到最下面載入其他資料頁面這時候就利用 Puppeteer 的evaluate來模擬前端的操作這時候會用到 window.scrollto, 這兩個搭配起來就可以載入FB頁面 ,這時候也在配合setTimeOut再去看幾秒觸發一次 window.scrollto 然後看一下頁面高度在把scrollto到最下面,反覆進行

對於張貼廣告或是回文這個也就是先把預計要載入的範圍後得到content後再去 prase每一格,這時候如果有match的handle(一般會使用$$取得陣列), 可以透過 evaluate + handle去進行符合條件的貼文

總結

SPA的網站撈資料對 Puppeteer 來說是很簡單的


上一篇
Puppeteer & 視窗最大化
下一篇
Puppeteer & 便宜機票
系列文
Puppeteer30

1 則留言

0
Wolke
iT邦新手 3 級 ‧ 2018-01-09 11:12:20

居然連 範例code 丟沒po

polo iT邦新手 4 級 ‧ 2018-01-09 11:15:03 檢舉

T_T 晚點再補

cwchiu iT邦新手 4 級 ‧ 2019-06-03 17:39:04 檢舉

好像還是沒補 XDD

我要留言

立即登入留言