iT邦幫忙

第 12 屆 iThome 鐵人賽
DAY 2
0
自我挑戰組

爬蟲初體驗系列 第 2 篇

Day02_Scrapy安裝介紹以及架構說明

12th鐵人賽
672 瀏覽

  • 分享至 

  • xImage
    •  

Scrapy安裝介紹
官網指定Python版本需要高於3.5.2

Installing Scrapy(安裝SCRAPY)
在WINDOWS的環境下

pip install Scrapy

即可安裝完畢

如果你是MAC或是LINUX系統的話，在官網上也有詳細的介紹。

SCRAPY運作說明

  1. 提供第一個網站網址給SCRAPY
  2. SCRAPY會針對此網址進行REQUEST動作
  3. 將其網站的內容進行下載動作，下載後生成Response
  4. 並在程序的架構中設定自己需要Extract的內容進行規劃
  5. 將要拆解的文字或者數字等列為ITEM
  6. 該ITEM會透過ITEM PIPELINE進行處理作業(例如保存、丟棄或是驗證等等)
  7. 當然你可以透過網址的篩選器海爬整個網站，直到沒有網址可以解析為止。

上一篇
Day_01 爬蟲介紹以及為什麼需要爬蟲
下一篇
Day03_Scrapy建立專案
系列文
爬蟲初體驗 共 4 篇
  1. 1
    Day_01 爬蟲介紹以及為什麼需要爬蟲
  2. 2
    Day02_Scrapy安裝介紹以及架構說明
  3. 3
    Day03_Scrapy建立專案
  4. 4
    Day04_Scrapy建立專案擷取資料(XPATH)
完整目錄
圖片
  直播研討會
圖片
{{ item.channelVendor }} {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言
iThome鐵人賽
參賽組數
1123 組
團體組數
52 組
累計文章數
23096 篇
完賽人數
656 人
iT+看影片追技術 看影片追技術 看更多
熱門tag 看更多
15th鐵人賽 13th鐵人賽 14th鐵人賽 12th鐵人賽 11th鐵人賽 鐵人賽 2019鐵人賽 2018鐵人賽 javascript 2017鐵人賽 python windows php c# windows server linux css react 程式設計 vue.js
熱門問題
熱門回答
熱門文章
IT邦幫忙