iT邦幫忙

2022 iThome 鐵人賽

DAY 20
0
自我挑戰組

用Python學習網路爬蟲30天系列 第 20

[Day20] Scrapy爬蟲框架2_建立專案

  • 分享至 

  • xImage
  •  

建立Scrapy專案

了解Scrapy Shell的使用與測試擷取所需資料的操作後,實作練習以擷取批批踢股票看板的發文標題、推文數和作者資料為例,建立Scrapy的爬蟲專案。
https://ithelp.ithome.com.tw/upload/images/20221004/20152180MpOEwDChxB.png

實作練習

  1. 開啟Anacaonda Prompt命令提示字元,選擇建立專案的目錄

    cd ..    #返回上一層目錄
    cd       #到指定的目錄路徑
    

    https://ithelp.ithome.com.tw/upload/images/20221004/20152180mcdnN4H2Sg.png

  2. 新增專案

    scrapy startproject 專案名稱
    

    https://ithelp.ithome.com.tw/upload/images/20221004/20152180AbxrE9CNsR.png

  3. 使用cd指令切換到專案目錄,再使用下方指令新增Python爬蟲程式

    scrapy genspider 檔案名稱 爬取網域
    

    https://ithelp.ithome.com.tw/upload/images/20221004/20152180bU8fg5xIDs.png

    完成後可以看到Spyder內新增的爬蟲程式pttstock.py
    https://ithelp.ithome.com.tw/upload/images/20221004/20152180yFsIALD4Wm.png

  4. 在parse()函數下定位與擷取所需的資料
    https://ithelp.ithome.com.tw/upload/images/20221004/20152180Qm5JAMJq8y.png

  5. 執行程式

    scrapy scrawl 檔案名稱
    

    https://ithelp.ithome.com.tw/upload/images/20221004/20152180EDDhinnzTJ.png
    https://ithelp.ithome.com.tw/upload/images/20221004/20152180Q3prfUdslE.png


上一篇
[Day19] Scrapy爬蟲框架
下一篇
[Day21] Scrapy爬蟲框架3_Item和Item Pipeline
系列文
用Python學習網路爬蟲30天30
圖片
  直播研討會
圖片
{{ item.channelVendor }} {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言