iT邦幫忙

爬蟲設計相關文章
共有 2 則文章
鐵人賽 Software Development DAY 3

技術 Day 03:用 Factory 依網址判斷該用哪個爬蟲,而不是到處寫 if-else

前言:呼叫端要知道「這個網址該用哪個爬蟲」嗎? 「呼叫端傳個網址進來,判斷一下網域是哪個站台,new 對應的爬蟲就好了吧?」 問題是:這個判斷邏輯只寫一次,很快...

鐵人賽 Software Development DAY 2

技術 Day 02:每個來源站的頁面結構都不一樣,抽象層要切在哪裡

前言:多支援一個來源站,就要多寫一份爬蟲嗎? 「反正每個網站長得不一樣,乾脆一個網站寫一支獨立的爬蟲程式,簡單暴力。」 這個想法短期最快,長期最痛。如果每個來源...