iT邦幫忙

2018 iT 邦幫忙鐵人賽
DAY 18
0
DevOps

Puppeteer系列 第 18

Puppeteer & 工人智慧 驗證

  • 分享至 

  • xImage
  •  

介紹
有時候 驗證可以寫一些圖形辨識的部分去判斷,但是如果驗證比較複雜例如要你去查某一頁的第一個字是什麼而且每次的題目都不一樣,這時候就需要工人智慧來驗證了 ,在爬蟲中常會遇到一個狀況會很需要工人智慧,但是要怎樣讓爬蟲爬到某個狀態後停下等待 工人 KeyIn 在繼續往下跑呢

這時候插入一個await request

方法一

 data=  await request('遠端連線')

方法二 停在這個迴圈


把 let content=await page.content 用socket io 通知server 題目

然後使用while 迴圈卡住等待 socket io
 while(data){
         data= 使用socket io   
 }

總結

使用多開頁面提供使用者輸入工人智慧,這邊也可以考慮到一個功能就是當跑很多爬蟲的時候把這些驗證的工作都丟到遠端不同的工人那邊做驗證再丟回來可以發 await request 去代理機器


上一篇
Puppeteer & Rabbitmq
下一篇
Puppeteer & 鐵人自動發文(二)
系列文
Puppeteer30
圖片
  直播研討會
圖片
{{ item.channelVendor }} {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言