iT邦幫忙

2017 iT 邦幫忙鐵人賽
DAY 9
0
Big Data

研究爬蟲的世界系列 第 9

研究爬蟲的世界 - Simple Crawler 抓取條件

  • 分享至 

  • twitterImage
  •  

當你只需要抓特定規則的頁面並非全部時,可以設定要抓取的條件,且條件可以有多個。

新增抓取條件

var conditionID = crawler.addFetchCondition(function(queueItem, referrerQueueItem) {
  return queueItem.path.indexOf('/news/') > -1
})

function condition(queueItem, referrerQueueItem) {
  return queueItem.path.indexOf('/news/') > -1
}

var conditionID = crawler.addFetchCondition(condition);

移除抓取條件

crawler.removeFetchCondition(conditionID);

crawler.removeFetchCondition(condition);


上一篇
研究爬蟲的世界 - Simple Crawler 常用配置
下一篇
研究爬蟲的世界 - Cheerio
系列文
研究爬蟲的世界15
圖片
  直播研討會
圖片
{{ item.channelVendor }} {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言