Scrapy是一套開發大型網路爬蟲的Python框架,提供多種工具從Web網站擷取資料,我們不只可以擷取資料,還可以處理和儲存成指定資料結構和格式。Scrapy不單純只是擷取幾頁HTML網頁,而是輕鬆爬取整個Web網站的資料。
Scrapy是Scrapinghub公司使用Python語言開發的一套完整的「網路爬蟲框架」,其原始設計目的就是為了建立網路爬蟲,Scrapy 支援 css 選擇器和 XPath 表達式的資料擷取 API,可以幫助我們定位和爬取HTML網頁的指定資料。
請執行『開始/Anaconda3 (64-bits)/Anaconda Prompt』命令開啟Anaconda Prompt 命令提示字元視窗後,即可輸入 conda 指令來安裝 Scrapy。
(base) C:\Users\JOE>conda install -c conda-forge scrapy Enter