鐵人檔案
好的，講解完 Requests 套件的基本介紹後，終於要進入真實情況的爬蟲應用拉！ 但我們一步一步來，先從簡單的開始，運用我們前面提到的基本應用來做個小爬蟲。...
承接上篇，抓日成交資訊時，我們得知道股票代碼，那如果我想要有一個可以定時更新的股票代碼清單，要去哪裡拿呢？ 抓取所有股票代碼 - 尋找 URL 一樣到證交所...
開始前我簡單帶過一下我們這支爬蟲 Beautiful soup 的用法好了： from bs4 import BeautifulSoup html = &quo...
偽裝 偽裝！？爬蟲還要偽裝喔？ 是的，不知道各位還記不記得在＂關於爬蟲＂有提到過： 爬蟲存取網站的過程會消耗目標系統資源。 不少網路系統並不默許爬蟲工作...
多執行緒 介紹什麼是多執行緒（multithreading）前，先來簡單講一下什麼是執行緒。 在作業系統中會有 Program / Process / Thre...
多執行緒（multithreading） 所以我們的多執行緒在程式是怎麼運作呢？ 一般情況： 假設 req1、req2 都是送 request 到 ser...
重複使用 TCP 連線 本篇章請搭配以下一起服用： HTTP - 複習傳送門 TCP / UDP - 複習傳送門 不知道各位還記不記得 HTTP 的...
自動更新每日個股日成交資訊 結合前幾篇所學，我們來做一個可以自動更新日成交資訊的程式吧！ Requests 基本應用 - 讀取 Response JSO...
自製 Progress Bar 繼前一篇，來補充自製一個小功能，讓這個程式會好用一些些。 爬蟲在爬的時候，看 console 的畫面空蕩蕩的，是不是會有一種莫名...
結語 終於來到尾聲了，今天這篇文章，就是本系列文最後一篇了。先恭喜各位讀者完成了整個系列，希望本系列文對你在學習爬蟲的路程上有很大的幫助。 這是我第一次參加鐵人...
