我想做一個爬蟲可以爬nhentai的tag,但是發現這樣爬進去的頁面是Just a moment...的頁面,請問要怎麼真正爬到我要的頁面?
這是我的js
const puppeteer = require('puppeteer');
var url = 'https://nhentai.net/g/123456/';
(async ()=>{
const browser = await puppeteer.launch();
const page = await browser.newPage();
await page.goto(url);
await page.waitForNavigation();
//await page.click('.mark')[0];
//await page.waitForNavigation();
const titles = await page.$$eval('.name',(el) => {
return $(el).text;
});
console.log(titles);
await browser.close;
})
這是debug用的js,用這個檢查才發現不是我要的頁面
const https = require('https');
const cheerio = require('cheerio');
const url = 'https://nhentai.net/g/123456/';
https.get(url, (res) => {
let data = '';
res.on('data', (chunk) => {
data += chunk;
});
res.on('end', () => {
const $ = cheerio.load(data);
const titles = $('.name'); // 取得所有CSS class名稱為title的元素
console.log(data); // 輸出元素的文字內容
});
}).on('error', (err) => {
console.log('Error: ' + err.message);
});