你有沒有需要一次下載大量、同類型圖片，或是需要網路上大量資料來進行分析，但是資料要一筆一筆手動下載太耗費時間與人力的經驗。
抑或是每次網路商店有限量活動，明明都守在電腦前看著標準時間倒數，但點進去網站卻立馬完售...
或許你有質疑過「是不是店家造假！」，但其實這一切都是網路爬蟲的功勞。

沒錯！網路爬蟲就是一個可以自動幫你收集網路上資料的東西，透過自動化取代重複性高的工作，或是使用網路爬蟲創造一個機器人來跟人類拼速度，利用程式解決一切。

這樣聽起來，網路爬蟲可以應用的範圍實在太廣了，舉例來說：

• 高鐵搶票系統：相信各位遊子們一定面臨過連假搶不到車票返鄉的經驗，這時候如果有一個搶票系統，不但可以比你準時，速度還比你手動點擊快。
• 智慧音箱：其實智慧音箱的原理也很簡單，只要分析使用者的語意，判斷用途，接下來就利用網路爬蟲來完成使用者的需求即可。

諸如此類，網路爬蟲的應用實在是太多了，尤其現在是個 Big data 的時代，資料的收集、處理也變得愈來愈重要，不但可以降低人力，還可以加快作業時間。

雖然 Java、PHP、C++ 等語言都可以撰寫網路爬蟲的應用，但接下來筆者要介紹撰寫網路爬蟲的語言是 Python，之所以會選擇 Python 來撰寫主要是因為它擁有很多套件，可以輕易地完成網路爬蟲這個功能，而且所擁有的網路資源也相當豐沛，較容易上手。