iT邦幫忙

鐵人檔案

2024 iThome 鐵人賽
回列表
Python

Python大戰之網頁爬蟲 系列

「爬蟲」是現今很廣泛的技術之一,且目前已經應用在許多的領域上,像是金融、貿易、科技等,且爬蟲技術的門檻相對其他技術來說並不高,相較起來也比較適合初學者學習。於是我想透過這次鐵人賽的機會,來學習有關爬蟲的相關知識,並嘗試著實做相關的技術。

在此次的實作主題中,我主要會將我的學習分為幾個階段,分別為: 爬蟲研究、Python程式碼學習、以及實際應用。每個階段都有不同的學習目標,讓我可以按部就班地學習各個知識點,並能夠夯實基礎,逐步提升自己的能力。

參賽天數 30 天 | 共 29 篇文章 | 5 人訂閱 訂閱系列文 RSS系列文
DAY 21

[Day 21] 存儲數據-pandas

我們在前幾個python的爬蟲實作中,都有獲取到我們想抓取的數據,例如像是網頁內的數據或是自動化搜索的結果。 不過,我們似乎還沒有把蒐集到的資料彙整到一個資料庫...

2024-10-05 ‧ 由 liao07211270 分享
DAY 22

[Day 22] 爬蟲實戰 - ptt之NBA版

在剩餘約10天的學習中,我將會學習大量的爬蟲實例,並試著跟隨製作相關的爬蟲程式,檢驗前20天的學習成果到底如何。 在接下來的時間裡,我會參考https://ww...

2024-10-06 ‧ 由 liao07211270 分享
DAY 23

[Day 23] 爬蟲實戰 - ptt之NBA版 - 資料彙整

接續昨天的內容,我們剛剛所要蒐集的三個資料:「文章標題」、「文章人氣」、以及「發文日期」都抓取出來了,那現在就要把他們轉換成易於閱讀的檔案。 相對於之前我們做過...

2024-10-07 ‧ 由 liao07211270 分享
DAY 24

[Day 24] Ajax爬蟲

在今天的學習中,我會試著抓取有使用「Ajax」的網頁的資料,並且最後將抓取到的資料存取到EXCEL中。(參考來源:https://www.youtube.com...

2024-10-08 ‧ 由 liao07211270 分享
DAY 25

[Day 25] MySQL

在今天的學習中,我要來學習要如何使用「MySQL」來儲存爬取到的資料,並試著完整學習它的運行概念。 什麼是MySQL? MySQL 是一種非常流行的開源關聯式資...

2024-10-09 ‧ 由 liao07211270 分享
DAY 27

[Day 27] 公休日

作者今日外部工作繁忙,加上身體依舊不適,今天暫時不發表文章,還請各位見諒。

2024-10-11 ‧ 由 liao07211270 分享
DAY 28

[Day 28] SQLite

在今天的學習中,我們要學習另外一個資料庫引擎 - SQLite我們會學習它的運作原理,以及它的應用: 什麼是SQLite? SQLite 是一種輕量級的關聯式資...

2024-10-12 ‧ 由 liao07211270 分享
DAY 29

[Day 29] 週休日

今天因為個人因素沒辦法發文,實在是很抱歉。。。 明天會對於整個月的學習做總結。

2024-10-13 ‧ 由 liao07211270 分享
DAY 30

[Day 30]總結

30天一晃就過去了,我真的有堅持著每天都發文,這邊先給自己掌聲鼓勵一下!!!(有兩三天有事情沒內容,但別在意這些小細節嘛 ==) 這30天真的過得很充實,雖然是...

2024-10-14 ‧ 由 liao07211270 分享