介紹
有時候 驗證可以寫一些圖形辨識的部分去判斷,但是如果驗證比較複雜例如要你去查某一頁的第一個字是什麼而且每次的題目都不一樣,這時候就需要工人智慧來驗證了 ,在爬蟲中常會遇到一個狀況會很需要工人智慧,但是要怎樣讓爬蟲爬到某個狀態後停下等待 工人 KeyIn 在繼續往下跑呢
這時候插入一個await request
方法一
data= await request('遠端連線')
方法二 停在這個迴圈
把 let content=await page.content 用socket io 通知server 題目
然後使用while 迴圈卡住等待 socket io
while(data){
data= 使用socket io
}
總結
使用多開頁面提供使用者輸入工人智慧,這邊也可以考慮到一個功能就是當跑很多爬蟲的時候把這些驗證的工作都丟到遠端不同的工人那邊做驗證再丟回來可以發 await request 去代理機器