iT邦幫忙

鐵人檔案

2021 iThome 鐵人賽
回列表
自我挑戰組

初次接觸爬蟲的學習 系列

第一次在網路上分享自己的學習,主要是以我學習過程的實作進行分享。

鐵人鍊成 | 共 30 篇文章 | 5 人訂閱 訂閱系列文 RSS系列文
DAY 21

抓取閱覽人數

本來還想再去試一試直播平台的觀看人數,但還是沒有成功抓取到,之後我就想到我的鐵人檔案中也可以看到總閱覽我的人數,我就去試試了。下面是我的程式碼這邊我多用計時器來...

2021-09-26 ‧ 由 pinyi 分享
DAY 22

選擇性抓取資料

我這次想做個在爬取資料中進行篩選的工作,這樣的話以後就可以只得到我想要的關鍵資料了。那我就沿用上篇抓取鐵人賽總閱覽數的程式碼,不過這次是取我發布文章的閱覽數,有...

2021-09-27 ‧ 由 pinyi 分享
DAY 23

連接資料庫傳送資料

至今利用爬蟲已經收集到許多的資料了,那這次就將收集到的資料輸入進資料庫裡進行儲存。這次用的資料是之前抓取過的外幣匯率,下面就是增加的程式碼。下面是跟本地資料庫作...

2021-09-28 ‧ 由 pinyi 分享
DAY 24

資料庫連線小補充

這邊講一下當時連線的一些狀況。其實一開始連線是沒有成功的,命令提示字元出現了下面這行,原本下面還會有一大段的,只是當時沒截到圖。這個出現大概表示了資料庫連線失敗...

2021-09-29 ‧ 由 pinyi 分享
DAY 25

資料庫連接練習

我們繼續熟悉資料庫連接的操作吧!這次是沿用漫畫爬蟲的程式碼,但我目前只要兩筆資料:漫畫編號、漫畫名稱,那首先在資料庫中建立一個table,一樣是在test資料庫...

2021-09-30 ‧ 由 pinyi 分享
DAY 26

資料庫練習

這次練習沿用的程式碼是我鐵人賽每篇閱覽數。先說一下程式碼的改動,原本我只抓閱覽數,那這次有多增加發文日期,以下是程式碼。程式碼搞定後,就是去資料庫建立存放資料的...

2021-10-01 ‧ 由 pinyi 分享
DAY 27

小測試

這篇就做個小測試來解答我的疑問。首先上一篇是爬閱覽人數並且輸入進資料庫中,那閱覽人數其實算數字嘛,但當時我是以text的格式送進去的,所以我創建表格時就用var...

2021-10-02 ‧ 由 pinyi 分享
DAY 28

最後的爬蟲啦~

這篇應該是這次鐵人賽中最後一次的’純’爬蟲啦!總之就是一而再、再而三地重複練習,使我能夠更加熟悉爬蟲的運作。這次是去博客來以關鍵字甜點及食譜找出來的書籍,去抓取...

2021-10-03 ‧ 由 pinyi 分享
DAY 29

最後的資料庫練習~

這篇就繼續沿用上一篇程式碼吧!那這邊就丟完整程式碼給各位參考。接著是資料庫表格的建置當一個資料輸入成功會印出一個successfully,輸入錯誤則是err。當...

2021-10-04 ‧ 由 pinyi 分享
DAY 30

完賽心得

首先很感謝it鐵人賽給予我這個機會,讓我做到平時連想不會想到的事。因為對於我而言,實在是沒什麼能夠說出來的專業的知識及概念,而且寫一寫也會搞出個很…的烏龍,就是...

2021-10-05 ‧ 由 pinyi 分享