iT邦幫忙

2023 iThome 鐵人賽

DAY 26
0
自我挑戰組

網路爬蟲系列 第 26

【Day26】網路爬蟲-Scrapy爬蟲框架的基礎

  • 分享至 

  • xImage
  •  

認識Scrapy

Scrapy是一套開發大型網路爬蟲的Python框架,提供多種工具從Web網站擷取資料,我們不只可以擷取資料,還可以處理和儲存成指定資料結構和格式。Scrapy不單純只是擷取幾頁HTML網頁,而是輕鬆爬取整個Web網站的資料。
Scrapy是Scrapinghub公司使用Python語言開發的一套完整的「網路爬蟲框架」,其原始設計目的就是為了建立網路爬蟲,Scrapy 支援 css 選擇器和 XPath 表達式的資料擷取 API,可以幫助我們定位和爬取HTML網頁的指定資料。

安裝Scrapy

請執行『開始/Anaconda3 (64-bits)/Anaconda Prompt』命令開啟Anaconda Prompt 命令提示字元視窗後,即可輸入 conda 指令來安裝 Scrapy。

(base) C:\Users\JOE>conda install -c conda-forge scrapy Enter

上一篇
【Day25】網路爬蟲-JavaScript動態網路擷取
下一篇
【Day27】網路爬蟲-建立Scrapy專案爬蟲程式
系列文
網路爬蟲30
圖片
  直播研討會
圖片
{{ item.channelVendor }} {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言