製作Scrapy爬蟲一共需要4步:
1.新建項目(scrapy startproject xxx):新建一個新的爬蟲項目
2.明確目標(編寫items.py):明確你想要抓取的目標
3.製作爬蟲(spiders/xxspider.py):製作爬蟲開始爬取網頁
4.存儲內容(pipelines.py):設計管道存儲爬取內容
Scrapy安裝
Scrapy在Python 2.7和Python 3.3或更高版本上運行
在Terminal輸入
pip install Scrapy
即可安裝
iThome鐵人賽
看影片追技術