iT邦幫忙

鐵人檔案

2025 iThome 鐵人賽
回列表
AI & Data

從網路爬蟲到資料洞察的應用 系列

這次參賽將以Python程式語言為主軸,進行為期30天的學習與實作挑戰。透過 Python 建立爬蟲,自動蒐集股市公開資訊,如股價、公告與交易數據,並進行清理與整理,然後結合統計分析與視覺化,將龐雜的原始數據轉化為易於理解的資訊,進一步了解市場趨勢或異常變化,最後展示從資料獲取、處理到洞察的完整流程。

參賽天數 17 天 | 共 17 篇文章 | 2 人訂閱 訂閱系列文 RSS系列文
DAY 1

前言與設定環境

大家好,我是感覺學會了程式語言但又不太會用的 CC 。延續基礎學習後來做爬蟲的自我挑戰,期待自己能夠完成這次的試煉。話不多說,我們先來安裝環境。 1.安裝 Py...

2025-09-15 ‧ 由 cchung 分享
DAY 2

介紹 TWSE 官網 API 格式(JSON、CSV),理解 URL 結構

昨天完成了環境設定,那今天我們要來了解台灣證交所 (TWSE) 提供的公開 API。TWSE 官網雖然沒有寫「API 文件」,但實際上很多股市資料都能用 URL...

2025-09-16 ‧ 由 cchung 分享
DAY 3

利用 twstock 套件快速取得股市資料

昨天我們已經設定好環境,也初步認識了如何使用 API 來抓取股市資料。今天就來實作一個小練習,利用 Python 的 twstock 套件,直接抓取台灣股市中一...

2025-09-17 ‧ 由 cchung 分享
DAY 4

解析 JSON → 提取日期、收盤價、成交量

昨天我們已經用 twstock 成功抓到台積電 (2330) 的股票交易資料。這些資料背後其實就是一種 JSON 結構:由鍵與值組成,並按照固定格式存放在清單裡...

2025-09-18 ‧ 由 cchung 分享
DAY 5

轉換成 pandas DataFrame

昨天我們已經從 JSON 中成功提取了需要的資料:日期、收盤價、成交量。雖然這些資料已經整理成 list,但如果我們要進一步做統計、分析或畫圖,單純的 list...

2025-09-19 ‧ 由 cchung 分享
DAY 6

存成 CSV 檔,確認能保存本地資料

在前幾天的練習中,我們已經能夠透過 twstock 抓取台積電 (2330) 的股價資料,並利用 pandas DataFrame 進行整理與排序。今天要進一步...

2025-09-20 ‧ 由 cchung 分享
DAY 7

處理日期格式(字串轉 datetime)

昨天我們已經成功把股票資料轉成 pandas DataFrame,並且能存成 CSV 檔案。今天的重點,是解決「日期格式」的問題。 雖然 twstock 幫我們...

2025-09-21 ‧ 由 cchung 分享
DAY 8

處理數字欄位

在處理股票或財務資料的時候,我們常常會遇到一個小問題:數字欄位裡面帶有「千分位逗號」。像是成交量 24,841,820,或價格 1,285,它們其實是「文字 (...

2025-09-22 ‧ 由 cchung 分享
DAY 9

處理缺失值

在資料清理過程中,缺失值 (NaN) 幾乎是必定會遇到的狀況。舉例來說,可能是某一天沒有交易數據、某些欄位沒有填寫完整,又或者資料在蒐集過程中有遺漏。這些 Na...

2025-09-23 ‧ 由 cchung 分享
DAY 10

計算基本統計

昨天我們處理了數字欄位,把「帶逗號的字串數字」轉換成可以運算的數值型態。今天,我們要來計算股票數據的基本統計值,這些統計結果能幫助我們快速掌握整體走勢。 為什麼...

2025-09-24 ‧ 由 cchung 分享