iT邦幫忙

鐵人檔案

2018 iT 邦幫忙鐵人賽
回列表
Software Development

爬蟲始終來自於墮性 系列

每個人每天花很多時間在網路上,網路肯定已經是生活中不可或缺的一部分,但你知道嗎?為了交換資訊,我們常常在網路上做著重複的動作,查交通時刻、查股票價格、看表特版、發廢文...而這些重複的動作,一天可能還不只做一次。身為一個懶惰的工程師,為了自己寶貴的時間,也為了保護自己的黃金手腕,無時無刻思考著如何自動化肯定是必然的,而爬蟲同時也是一種諜對諜的遊戲,就讓我們一起用 node.js 來探討爬蟲的知識與技巧。

鐵人鍊成 | 共 34 篇文章 | 412 人訂閱 訂閱系列文 RSS系列文
DAY 17

漫畫抓取

定義目標 身為一個熱血工程師,看漫畫肯定是平常愛好,而網路上其實有很多漫畫資源,除了追漫畫外,也很常去回味一些經典漫畫。不過網路上的漫畫資源都是用網頁呈現,體感...

2017-12-20 ‧ 由 Howard 分享
DAY 18

ibon 上傳文件

定義目標 有位友人想要點餐,他問能否可以有個 command line 的方式來上傳 ibon 檔案,雖然我不知道他會怎麼使用它,但其實能幫人家省時間就是一件有...

2017-12-21 ‧ 由 Howard 分享
DAY 19

電影場次快速查詢

定義目標 我看電影都是挺臨時決定的,常常興致來了並且剛好有空就會去看電影,但是每次這種狀況的時候,我都必須去每間電影院翻找時刻表,看看我想看的電影最近的一場是在...

2017-12-22 ‧ 由 Howard 分享
DAY 20

Facebook 好友生日列表

定義目標 Facebook 上的朋友其實挺多,幾乎每天都會出現某某人今天生日,但要特別花時間去回應似乎又有點麻煩,但沒有給予祝福又不夠意思,那麼我們今天的主題就...

2017-12-23 ‧ 由 Howard 分享
DAY 21

Facebook 按讚名單

定義目標 有許多電商界的朋友都曾經向我詢問過一個需求,他們想要抓到粉絲頁的按讚或粉絲名單,但是可惜的,FB 不給的你不能要。不過他們都會再進階的問一個問題,能否...

2017-12-24 ‧ 由 Howard 分享
DAY 22

Facebook 個人相簿

定義目標 最近因為要結婚了,所以有接觸婚攝這類的事情,然後發現要跟攝影師討論照相風格是一件麻煩的事情,若不是很能掌握照相風格的,就很難去描述你想要的那種風格,因...

2017-12-25 ‧ 由 Howard 分享
DAY 23

7-11 超商門市爬取

定義目標 在製作電商相關的系統時,金流常常是很重要的一環,而台灣消費者的習慣很常會選用超商貨到付款,所以在串接金流的時候,若消費者選擇 7-11 貨到付款,則都...

2017-12-26 ‧ 由 Howard 分享
DAY 24

iThelp oAuth 登入

定義目標 在這個系列的「IT 鐵人排程發文」這篇文章底下,pilipala 提到想知道如何用 request 來做登入的動作,那我們今天就來實作 iThelp...

2017-12-27 ‧ 由 Howard 分享
DAY 25

台鐵(半)自動訂票

定義目標 台鐵網站一直都很古老,訂票網站更是落後,看了一下似乎有 app 做出一鍵訂票的功能,但好像後續又被台鐵擋住(?)。那麼作為爬蟲,理應是人工能做的流程爬...

2017-12-28 ‧ 由 Howard 分享
DAY 26

改造台鐵訂票全自動

定義目標 昨天我們實作了台鐵半自動台鐵訂票,雖然已經大幅減少我們人工流程的時間,但肯定不是完美,我們今天就來將驗證碼的部分也自動化。 先 demo 一下今天結果...

2017-12-29 ‧ 由 Howard 分享