iT邦幫忙

鐵人檔案

2021 iThome 鐵人賽
回列表
自我挑戰組

從HTML到Python爬蟲的30天之旅 系列

內容大概是集結了我這一年來所學有關前端網頁、Python爬蟲的總總,也是為了回顧這一年的學習歷程。

這些技術都是我自學的,在過程中有觀察到一種狀況,就是文章雖然寫的很詳細,但我看完後要自己動手做的時候,卻不知道該如何下手,又只好上網找別的範例。因為如此,我希望我的教學文是以 "手把手" 教學的方法,讓讀者能一邊學習一邊實作出東西,所以我舉的例子都一定會跟正在實作的內容有關,目的是希望讀者看完文章後,是真的可以成功做出東西的。

鐵人鍊成 | 共 30 篇文章 | 30 人訂閱 訂閱系列文 RSS系列文
DAY 11

Day 11:Python基本介紹04 | Set、Dictionary

おはよう~昨天我們介紹完了四種Collections的其中兩種 - List、Tuple,而今天要接續介紹另外兩種 - Set、Dictionary。 Set(...

2021-09-16 ‧ 由 Andy Chiang 分享
DAY 12

Day 12:Python基本介紹05 | 流程控制、迴圈

各位安安,今天講的是對任何程式語言都很重要也很基礎的流程控制和迴圈的概念,如果你先前已經學過其他程式語言了,那你一定很快就能學起來,如果你之前沒學過也沒關係,今...

2021-09-17 ‧ 由 Andy Chiang 分享
DAY 13

Day 13:Python基本介紹06 | 函數、讀寫檔案、引用

早安安! 今天是Python基本介紹的最後一天了~ 6天真的太短了,有好多東西想講但都講不完 ಥ⌣ಥ,因此我打算今天就把幾個之後爬蟲會用到的幾個技巧介紹完,內容...

2021-09-18 ‧ 由 Andy Chiang 分享
DAY 14

Day 14:專案02 - PTT C_chat版爬蟲01 | 爬蟲簡介、request和response、Requests

⚠行前通知 先前已經學過Python但想學爬蟲的人可以回來囉~ 從今天起就開始大家最期待的網頁爬蟲的單元了! 雖然比原本預計的晚了2天,但該講的依舊不會少,那麼...

2021-09-19 ‧ 由 Andy Chiang 分享
DAY 15

Day 15:專案02 - PTT C_Chat版爬蟲02 | BeautifulSoup

大家安安,歡迎來到鐵人賽的第15天! 不知不覺已經過完一半了,再努力堅持下去吧! 昨天已經將網站的原始碼抓下來了,然而我們只需要原始碼中特定的幾筆資料而已,所以...

2021-09-20 ‧ 由 Andy Chiang 分享
DAY 16

Day 16:專案03 - PTT 八卦版爬蟲01 | cookie

偷看一下專案長怎樣 我預期的專案想要完成這幾件事: 取得八卦版每篇文章的標題、作者和發文時間。 取得文章內容。 取得底下的留言,並依照標籤分類。 整理資料並...

2021-09-21 ‧ 由 Andy Chiang 分享
DAY 17

Day 17:專案03 - PTT 八卦版爬蟲02 | session、post

昨天教到使用cookie讓伺服器記得我們曾經做過哪些事,但缺點就是每次Request都要加上cookie才行,非常麻煩。今天就來講怎麼使用session解決這個...

2021-09-22 ‧ 由 Andy Chiang 分享
DAY 18

Day 18:專案03 - PTT 八卦版爬蟲03 | 文章標題、作者、時間

哎呀哎呀,開學後變得好忙阿,連一天寫一篇的時間都沒有,果然先預留點文章是對的。參賽前還以為30天很短,實際參賽後才覺得真的是很漫長的過程,離結束還剩12天,好久...

2021-09-23 ‧ 由 Andy Chiang 分享
DAY 19

Day 19:專案03 - PTT 八卦版爬蟲04 | 留言、換頁、json

各位早阿,今天就接續昨天的部分,繼續抓取留言和匯出成json檔吧! 留言區 觀察一下PTT的留言區,可以看到留言分成三種,分別是"推"、&q...

2021-09-24 ‧ 由 Andy Chiang 分享
DAY 20

Day 20:專案04 - Facebook爬蟲01 | ChromeDriver、Selenium

圖片來源:https://unsplash.com/photos/m_HRfLhgABo 安安,今天是第20天了哦,離結束只剩最後1/3了,感覺時間過得真...

2021-09-25 ‧ 由 Andy Chiang 分享