當你只需要抓特定規則的頁面並非全部時,可以設定要抓取的條件,且條件可以有多個。
var conditionID = crawler.addFetchCondition(function(queueItem, referrerQueueItem) {
return queueItem.path.indexOf('/news/') > -1
})
或
function condition(queueItem, referrerQueueItem) {
return queueItem.path.indexOf('/news/') > -1
}
var conditionID = crawler.addFetchCondition(condition);
crawler.removeFetchCondition(conditionID);
或
crawler.removeFetchCondition(condition);