鐵人檔案
本主題將以 Python 為主要工具，從基礎語法開始，逐步學習網路爬蟲、HTML 資料解析、資料清理、Pandas 資料分析、SQLite 資料庫與資料視覺化等技術。透過實際專案將網路資料擷取、整理、儲存與分析串連起來，最後利用圖表呈現分析結果，建立完整的資料處理流程。希望透過 30 天的自主學習，培養自己從網路取得資料、處理資料並將資料轉換成有價值資訊的實作能力。
一、認識網頁分頁的運作方式 在很多網站中，當資料量太大時，通常不會一次顯示所有內容，而是將資料拆分成多個頁面。 例如： 第 1 頁：書籍 1～20 第 2 頁：...
今天的重點是： 理解 HTML 中的超連結與 href 屬性。 使用 BeautifulSoup 找出網頁的 Next 按鈕。 使用 while 迴圈自動切換頁...
今天會繼續使用 Books to Scrape 作為練習網站，實作以下內容： 使用 try...except 處理不同類型的錯誤。 使用 raise_for_s...
一、什麼是 User-Agent？ 當我們使用 Requests 發送 HTTP Request 時，網站其實可以看到一些 Request Header。 其中...
前幾天已經可以把網站上的資料抓下來了。 但是實際做資料分析時，我發現「抓到資料」其實只是第一步。 例如網站上的價格可能是： £51.77 Availabilit...
今天想把之前學過的內容整合起來，從網頁取得書籍資訊，再把資料整理成統一的格式，最後儲存成 CSV 檔案。這樣後續就能直接使用 Pandas 進行資料分析，也可以...
前幾天已經完成了不少爬蟲功能，從最基本的 Requests、BeautifulSoup，到自動翻頁、Session、User-Agent 和資料清理。 不過實際...
前面 17 天主要都在學 Python、HTTP、Requests、BeautifulSoup，以及實際把網站資料抓下來。 到目前為止，我已經可以做到： 網站↓...
一、先建立一組有問題的資料 先自己製造一份資料，方便觀察。 import pandas as pd data = [{"title": &q...
一、建立今天的練習資料 在 Google Colab 匯入 Pandas，先建立一組書籍資料。 import pandas as pd data = [{&qu...
