iT邦幫忙

鐵人檔案

2021 iThome 鐵人賽
回列表
自我挑戰組

初次接觸爬蟲的學習 系列

第一次在網路上分享自己的學習,主要是以我學習過程的實作進行分享。

鐵人鍊成 | 共 30 篇文章 | 5 人訂閱 訂閱系列文 RSS系列文
DAY 11

網站不想你爬

這邊想說一下,關於上一篇有講到我利用superagent()來獲得網站資訊,結果抓取失敗。這是因為不一定所有網站都願意其他人隨便沿用自己的東西,所以在網站後台可...

2021-09-16 ‧ 由 pinyi 分享
DAY 12

檢查資訊內容(我也不知道我在做啥,不要理我T^T)

我好像找到之前明明有連接到並且取得資料後,結果卻為空值的因素了! 不過這只是我覺得而已,我也不是很確定是否真是這因素造成的。這次我本來想爬一下匯率的資料,但當我...

2021-09-17 ‧ 由 pinyi 分享
DAY 13

補充…小知識?

這篇就講玩到的小東西吧!可能會有人覺得沒意思,不過我還是想寫,反正是我的手在動,嘿嘿~ 關於在命令提示字元印資料時的小困擾我這邊就用之前的movies的資料作...

2021-09-18 ‧ 由 pinyi 分享
DAY 14

xlsx檔與json檔轉換

這篇接續上一篇,將電影名稱爬取後轉為json檔,今天就要再轉為xlsx檔,使資料以表格方式呈現。廢話不多說,我們就來看程式碼吧!這段程式碼是接續轉json檔的後...

2021-09-19 ‧ 由 pinyi 分享
DAY 15

今日份的爬蟲

這次找了個漫畫網站來爬關於一部漫畫的資訊。本來想要將資訊一個個羅列出來比較整齊,結果遇到了點困難無法按照規所想呈現結果。下面先來看看程式碼吧~大部分程式碼都熟悉...

2021-09-20 ‧ 由 pinyi 分享
DAY 16

論解決問題的爽度XD

哈哈~標題有點…希望不要有人介意哈,介意了也改不了嘿嘿。這篇我要來說說上篇成果的呈現啦!還好我不放棄去查資料找到了解決方法,雖然程式碼不一定是完美的,但做出來的...

2021-09-21 ‧ 由 pinyi 分享
DAY 17

嘗試的結果

我在網路上查資料時,看到有人寫了關於不覆蓋有資料的方法,不過檔案是txt檔的寫入,我不知道如果換成xlsx檔會如何,所以這篇就寫了我嘗試後的結果。這次我是先利用...

2021-09-22 ‧ 由 pinyi 分享
DAY 18

再次嘗試的匯率爬蟲

應該是上上篇的內容吧!關於如何取得更詳細的資料,且分類清楚。之前我爬匯率時就總是爬不到東西,所以這次再來挑戰一次。我就沿用之前的程式碼啦!就更改中間部分。一開始...

2021-09-23 ‧ 由 pinyi 分享
DAY 19

練習實作的輪迴

這次我就沿用上篇的程式碼接續練習轉xlsx檔。恩~所以這篇應該會滿短的,主要是看我學習成果。XD首先我先讓資料豐富起來,所以我把匯率其他項目一起丟進來。接下來廢...

2021-09-24 ‧ 由 pinyi 分享
DAY 20

爬取多個頁面

這次是要一次爬取多個頁面的資料,延續抓取漫畫資料的程式碼。因為我知道每個漫畫的路由後面都是編號,所以我利用編號來一次取多。下面是多增加或修改的程式。本來我是想集...

2021-09-25 ‧ 由 pinyi 分享