請問fb爬蟲假如我不想依靠寫死的方式爬取內文我應該怎爬取內文

fb python 網路爬蟲

阿誠 2022-01-25 12:04:34 ‧ 2009 瀏覽

請問各位高手想問fb爬蟲假如我不想依靠寫死的方式爬取內文我應該怎爬取內文，因寫死的方式會有可能沒抓到全部，希望能給個範例呢感恩

看更多先前的討論...收起先前的討論...

wilsonsujames iT邦新手 2 級 ‧ 2022-01-25 13:22:29 檢舉

https://selenium-python.readthedocs.io/locating-elements.html

To find multiple elements (these methods will return a list)

阿誠 iT邦新手 5 級 ‧ 2022-01-25 15:34:41 檢舉

謝謝你給的網址但經過參考後發現執行後只會出現亂碼

jiatool iT邦研究生 2 級 ‧ 2022-01-25 22:09:25 檢舉

用 Selenium 或 Playwright 試試吧。
不過寫 FB 爬蟲應該也會遇到不少困難

camelcheng iT邦新手 4 級 ‧ 2022-01-26 13:23:37 檢舉

1. selenium 先抓取動態文共通的element，存成一個list
2. 將list丟入迴圈，再把需要的內文抓出來
另外FB記得要做捲動的動作，不然動態不會長出來

planetoid iT邦新手 1 級 ‧ 2022-02-01 00:57:35 檢舉

通常使用 css selector 或 xpath 規則抓取內文，但是可能網站改版導致規則改變。如果擔心沒抓到全部，我自己作法是會將整份網頁都備份起來。

直播研討會

{{ item.channelVendor }} {{ item.webinarstarted }} |

直播中

立即登入回答

參賽組數

1064 組

團體組數

40 組

累計文章數

22195 篇

完賽人數

600 人

IT邦幫忙