iT邦幫忙

2021 iThome 鐵人賽

DAY 17
0
Software Development

Python 爬蟲這樣學,一定是大拇指拉!系列 第 17

[Python 爬蟲這樣學,一定是大拇指拉!] DAY17 - 爬蟲事前準備

  • 分享至 

  • twitterImage
  •  

爬蟲事前準備

本篇章之後將進入爬蟲環節,但開始撰寫程式前,我們先來安裝會使用的套件吧!

本系列文將使用 Requests,是一個基於 urllib3 為基礎開發的套件。簡單說 Requests 是一個把 urllib3 重新包裝過的套件,讓它能更簡單更容易地被使用這樣。

雖然本系列文是使用 Requests,但基於個人喜好,未來你也可以選擇使用自己喜歡的套件來當作爬蟲工具。
Requests 官方文件

開始前有一個重點,使用任何第三方套件前,請務必一定要閱讀該套件提供的文件,像是 Quick Start 、 Basic Use 、 FAQ,至少看完這些把基本概念搞懂,對該套件就差不多掌握一半了。如同本系列文,我們爬蟲實戰前,是先從網路的基礎知識開始講起,理由很簡單:任何複雜的事物,都是從基礎延伸、變化而來的

好的廢話不多說,我們開始吧!

  • 安裝方法很簡單,根據官方提供的有兩種:
    官方安裝方法

    1. 使用 pip 安裝

      python -m pip install requests
      
    2. 自行下載 Source Code

      (1) 至 Github下載

      git clone git://github.com/psf/requests.git
      

      (2) 或是下載 tar 檔

      curl -OL https://github.com/psf/requests/tarball/main
      # optionally, zipball is also available (for Windows users).
      

      下載完成後,進入 requests 資料夾來手動安裝。

      cd requests
      python -m pip install .
      
  • 安裝完成後我們來簡單的測試吧!

    import requests
    import logging
    # log 設定
    logging.basicConfig(level=logging.DEBUG)
    # 向 google.com 送 HTTP Request
    r = requests.get("https://www.google.com/")
    

    檢查:
    https://ithelp.ithome.com.tw/upload/images/20211002/20139358AoXYRMT38O.png

如果是這樣就沒問題囉!
以上就是我們的事前準備!


上一篇
[Python 爬蟲這樣學,一定是大拇指拉!] DAY16 - 從爬蟲看 API / CGI
下一篇
[Python 爬蟲這樣學,一定是大拇指拉!] DAY18 - Python:Requests 基本應用 (1)
系列文
Python 爬蟲這樣學,一定是大拇指拉!30
圖片
  直播研討會
圖片
{{ item.channelVendor }} {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言