先前發文
DAY 01 : 參賽目的與規劃
DAY 02 : python3 virtualenv 建置
DAY 03 : python3 request
DAY 04 : 使用beautifulsoup4 和lxml
DAY 05 : select 和find 抓取tag
DAY 06 : soup解析後 list取值
DAY 07 : request_header_cookie 通過網頁18限制
DAY 08 : ppt內文爬取
DAY 09 : 資料處理 split replace strip
DAY 10 : python csv 寫入 和dict 合併
DAY 11 : python class function
DAY 12 : crawl 框架 scrapy 使用
DAY 13 : scrapy 架構
DAY 14 : scrapy pipeline data insert mongodb
DAY 15 : scrapy middleware proxy
DAY 16 : scrapy selenium
DAY 17 : scrapy 爬取js畫面資料(二)
今天就來介紹一般爬取js的方法吧！
先來說明為何要使用這個方法來爬蟲 , 當然是因為有js的資料沒有瀏覽器跑不出來阿！！！
那另外的原因是selenium跑太慢了尤其是一個頁面上千個產品 , 又要一個一個進去爬產品資訊 , 除非網路跟硬體還有code都寫的很好(就是你很有錢又有閒)的話那就使用吧
那這次用來教學的網站叫arcteryxz(始祖烏)
iThome鐵人賽
看影片追技術