今天不實作,來細說一下為什麼前天提到網路爬蟲,但最後跑回去使用平台提供的api。
老實說,爬蟲其實挺蠻酷的。
你只要一個 requests.get(),再配合 BeautifulSoup,整個網頁資料就出現在你的終端機上。那種不用自己找資料的感覺真的很輕鬆。
直到我看到了有人說所謂的線上爬蟲其實是一個公司只要有心,就可以追責事情後我就怕了,決定跑回去繼續使用Api,畢竟API 本質上就是網站願意讓你拿的資料,而且結構乾淨、速度穩定、格式統一,搭配 Gemini 或 n8n 的可以使自動化流程更方便。
用人話來說就是用爬蟲像是在偷看網站,用 API 則是被邀請進去拿資料。
兩者的差別,就是合法性與穩定性的差別。
當然還有另外一個原因就是我爬蟲只會抓靜態網站,動態(需要登入的那種)的我就直接放棄了