iT邦幫忙

鐵人檔案

2018 iT 邦幫忙鐵人賽
回列表
Software Development

爬蟲始終來自於墮性 系列

每個人每天花很多時間在網路上,網路肯定已經是生活中不可或缺的一部分,但你知道嗎?為了交換資訊,我們常常在網路上做著重複的動作,查交通時刻、查股票價格、看表特版、發廢文...而這些重複的動作,一天可能還不只做一次。身為一個懶惰的工程師,為了自己寶貴的時間,也為了保護自己的黃金手腕,無時無刻思考著如何自動化肯定是必然的,而爬蟲同時也是一種諜對諜的遊戲,就讓我們一起用 node.js 來探討爬蟲的知識與技巧。

鐵人鍊成 | 共 34 篇文章 | 412 人訂閱 訂閱系列文 RSS系列文
DAY 8

台彩的銷售地點

定義目標 這是聊天室裡小魚提出來的主題,其實這類的需求老實說挺多的,在日常生活中,常常需要去整理一些網路上的資料,他不難但很煩,而且這些沒營養的動作常常會耗費掉...

2017-12-11 ‧ 由 Howard 分享
DAY 9

PTT Code_job 訂閱通知

定義目標 除了要處理各種工作室奇怪的問題之外,我其實是一名接案工程師,雖然目前已經不會再主動求案,但在早之前,其實都是必須在網路上四處找案子的。而為了避免淪為廉...

2017-12-12 ‧ 由 Howard 分享
DAY 10

PTT 台南版置底 3C 文

定義目標 我是一個很喜歡尋寶的人,會常常看 FB 的地方二手版,看有沒有實用的東西可以撿便宜,除了 FB 以外, PTT 地方版也有大量的二手物品販售訊息,所以...

2017-12-13 ‧ 由 Howard 分享
DAY 11

達標好文 PTT 表特版 API

定義目標 有匿名者指定說他也會逛 PTT,最但最常逛表特版,所以詢問看看是否能夠自幹表特版 api。我想這種需求看起來挺強烈的,這麼造福廣大男性朋友的 api...

2017-12-14 ‧ 由 Howard 分享
DAY 12

達標好文 591 出租網爬蟲

定義目標 我曾經接到一個案主的 case,他需要我寫隻爬蟲去爬租屋網站上的物件,其實這類的需求在平台或電子商務常常出現,那我們就以 591 來嘗試抓取所有物件挑...

2017-12-15 ‧ 由 Howard 分享
DAY 13

台鐵時刻表

定義目標 好想工作室每天都有很多學員或社群夥伴到這邊來,也因為他在大橋火車站旁邊,所以很多人都是直接搭電車過來。常常聊得太開心,一不小心就錯過了末班車,所以每天...

2017-12-16 ‧ 由 Howard 分享
DAY 14

高鐵、台鐵轉乘查詢

定義目標 與昨天的主題連貫,很多社群朋友是從台北、台中過來的,很常時候接駁台鐵搭高鐵,那我們可以來寫一個常用的高鐵時刻查詢。雖然我們能夠單純寫一個高鐵的查詢,再...

2017-12-17 ‧ 由 Howard 分享
DAY 15

日幣匯率訂閱

定義目標 很多朋友常常到日本去玩,換匯肯定都是要精打細算,挑選個良辰吉日匯點低的時候換匯,但常常因為忙碌就會忘記這件事情,所以我們今天來寫個關於匯率的主題。 匯...

2017-12-18 ‧ 由 Howard 分享
DAY 16

商城商品爬蟲

定義目標 我曾經接過一個 case,案主的需求是他想監測競業對手商店的價格,然後根據對手的價格去調整自己商品的價格,打價格戰。他之前的作法就是 hire 一個工...

2017-12-19 ‧ 由 Howard 分享
DAY 16

2017/12/19 23:46:00 原始數據統計 (json)

發現有好多人在寫統計的分析,其實我也寫了個 bot 來爬所有文章,不過每次執行大概都要 60 秒左右,目前還沒找到 free 的 node hosting 可以...

2017-12-19 ‧ 由 Howard 分享