既然還無法抉擇，那就先看看 framework 裡有哪些寶。

• 提供一個非常簡單的事件導向 API
• 以配置為基礎寫專屬於自己的爬蟲
• 自動遵守 robots.txt 訂定的規則
• 可彈性的控制 queue
• 提供最基本的網路效能統計資訊
• 抓取資料時有緩衝機制(buffers)，但不包含探索 links 的時候。

最簡單的一個範例

var Crawler = require("simplecrawler");
var crawler = new Crawler("http://127.0.0.1:1337/");

crawler.on("crawlstart", function() {
    console.log("Crawl starting");
});

crawler.on("fetchstart", function(queueItem) {
    console.log("fetchStart", queueItem);
});

crawler.on("fetchcomplete", function(queueItem) {
    console.log("fetchcomplete", queueItem);
});

crawler.on("complete", function() {
    console.log("Finished!");
});

crawler.start();

附上原始碼

• 遠距工作者在台灣 Facebook
• 創科資訊技術顧問