昨日完成了爬蟲功能開發,今天會將此功能打包成一個套件,並使用pip安裝到虛擬環境上。
要讓自己開發的套件可以讓pip安裝,其最基本的專案架構如下:
__init__.py:套件初始化使用,初始化須執行的程式放在這裡,若無初始化需求可保持空白。Python也使用此檔來判斷該目錄是否為套件,如果套件相關模組放在子目錄,則子目錄也須新增__init__.py。
setup.py:安裝套件時使用的檔案
from distutils.core import setup
setup(
name = 'package_crawler',
packages = ['crawler'], # 若有套件庫下有多個套件,以list形式放在這,ex: ['packageA', 'packageB']
scripts = [],
version = '1.0',
description = 'Crwaler Project',
author = 'author name',
author_email = 'ooooo@mail.com',
keywords = ['crawler','novel','book'],
classifiers = [],
)
補充:如果想將套件上傳到PyPI讓其他人可以下載使用,需要再申請帳號密碼,並新增.pypirc檔案,才能進行上傳。
實際目錄:
因這次開發的套件未上傳,僅作為本機端私人使用,故在使用pip安裝時,須包含套件資料夾所在路徑:
pip install F:\vscode\github\my_django_project\package_crawler
安裝完成後,就可以像一般套件一般使用了。
from crawler.bookcrawler import BookCrawler
book = BookCrawler('http://www.jjwxc.net/onebook.php?novelid=3415053')
book.getinfo()
print(book.title)