安裝

1. 安裝套件

pipenv install scrapy

曾經在安裝的時候遇到 Twisted 一直安裝失敗，無法透過 pip 安裝。如果有遇到的讀者，可以在這邊下載對應版本的 .tar.gz 檔案來手動安裝。

2. 驗證安裝

scrapy shell

)

如果遇到錯誤 ModuleNotFoundError: No module named 'win32api'，需要另外安裝套件：pipenv install pywin32

初始化爬蟲專案

Scrapy 有提供 CLI 來進行管理，建立爬蟲專案時，需要使用 startproject 這個指令。

建立 Scrapy 專案後，會多出一個 <project-name> 目錄。

建立爬蟲

進入專案目錄後，可以用 genspider 指令來建立一個新的爬蟲。

執行後可以看到 spiders 目錄下多了一個 ithome.py 檔案，包含一個 scrapy.Spider 的類別，之後爬蟲的邏輯就會寫在這邊。

明天會介紹爬蟲類別中的屬性和方法，專案目錄中還有其他檔案，未來幾天也會陸續介紹到喔～

參考資料

• Scrapy 1.7 documentation — Scrapy 1.7.3 documentation