第十一屆 優選

ai-and-data
爬蟲在手、資料我有 - 30 天 Scrapy 爬蟲實戰
Rex Chien

系列文章

DAY 11

【Day 10】蒐集 iT 邦幫忙的技術文章 (3/6) - 換頁

昨天我們只有抓到第一頁的文章標題,今天就來試著讓程式學會「換頁」吧! 換頁方式 當我們在網頁中按下第二頁或下一頁後,可以發現網址變成 https://ithe...

DAY 12

【Day 11】蒐集 iT 邦幫忙的技術文章 (4/6) - 內文

今天來試著抓文章的內文吧!這邊就用昨天的文章來作為爬取目標 ,順便偷人氣。 決定選擇器 直接在內文中點選「右鍵 > 檢查」打開開發人員工具,可以直接定位到...

DAY 13

【Day 12】蒐集 iT 邦幫忙的技術文章 (5/6) - 文章資訊

通常蒐集的資料範圍不會只有文章標題和內文,還會有作者、發文時間、標籤,甚至瀏覽數、回文等等比較詳細的資訊。今天先來抓取比較簡單的幾個資訊吧。 區塊定位 昨天我們...

DAY 14

【Day 13】蒐集 iT 邦幫忙的技術文章 (6/6) - 回文

除了原文外,回文常常也是重要的資料來源之一(特別是論壇類型的網站),所以今天來嘗試把回文也抓回來吧! 技術文章有回文的不多,找到 30天30碗平民魯肉飯完食!...

DAY 15

【Day 14】資料持久化 - RDBMS (1/4)

寫完蒐集資料的程式後,接著要選擇儲存資料的方式,通常會選擇關聯式資料庫(RDBMS)或非關聯式資料庫(NoSQL) ,應該比較少人會存成本地檔案吧。這個系列會分...

DAY 16

【Day 15】資料持久化 - RDBMS (2/4)

今天來試著把我們從列表頁開始,一路抓到的文章內容和資訊都存到資料庫中! 突然想到還沒整理過完整流程的原始碼,先來整理一下唄~ import requests f...

DAY 17

【Day 16】資料持久化 - RDBMS (3/4)

延續昨天的內容,今天會把回應的資料存到資料庫中~ 建立資料表 建立 ithome_response 資料表,並定位相關欄位如下: 這張表比較需要注意的是有...

DAY 18

【Day 17】資料持久化 - RDBMS (4/4)

在前三天的內容中,我們已經把文章和回應都存到資料庫中了,但如果都是用新增的方式,每次執行時如果抓到同一篇文章都會在資料庫中多出一筆,很容易造成後續分析時的誤差。...

DAY 19

【Day 18】資料持久化 - NoSQL (1/2)

抓下來的資料通常還要經過一系列的統計分析再呈現結果給使用者。這種資料一般稱為原始資料,大部分情況下抓回來後會儲存在所謂的 NoSQL 中。這兩天就會跟著大家一起...

DAY 20

【Day 19】資料持久化 - NoSQL (2/2)

先附上完整原始碼。跟 Day 17 的程式碼相比,只修改了 insert_article() 和 insert_responses() 兩個方法,把目標資料庫換...