介紹
Facebook 有提供API可以 Fetch 資料 不過現在時間內可以打API的次數越來越少了,所以就可以透過模擬前端操作來撈資料
Facebook 的原理是利用拉到最下面載入其他資料頁面這時候就利用 Puppeteer 的evaluate來模擬前端的操作這時候會用到 window.scrollto, 這兩個搭配起來就可以載入FB頁面 ,這時候也在配合setTimeOut再去看幾秒觸發一次 window.scrollto 然後看一下頁面高度在把scrollto到最下面,反覆進行
對於張貼廣告或是回文這個也就是先把預計要載入的範圍後得到content後再去 prase每一格,這時候如果有match的handle(一般會使用$$取得陣列), 可以透過 evaluate + handle去進行符合條件的貼文
總結
SPA的網站撈資料對 Puppeteer 來說是很簡單的