iT邦幫忙

鐵人檔案

第 12 屆 iT 邦幫忙鐵人賽
回列表
AI & Data

行銷廣告、電商小編的武器,FB & IG 爬蟲專案從零開始 系列

程式設計不該只是工程師專屬的武器
爬蟲的技術對於身處行銷、電商產業的人更重要

文章並不探討困難的技術,目標是培養解決問題的能力及技術的整合,內容包含:
1. 撰寫程式的前置環境設定,以及推薦開發工具(IDE)
2. nodejs基礎操作
3. 自動抓取網頁資訊(打開虛擬網頁、分析網頁、操作網頁元素)
4. 將取得的資訊放入Google Sheets(read、write、format...)
5. 排程自動執行設定,腳本撰寫
6. 執行完成後透過LINE回報執行狀況

備註:本專案在windows、mac皆可操作

鐵人鍊成 | 共 30 篇文章 | 53 人訂閱 訂閱系列文 RSS系列文 團隊北科大計算機
DAY 21

【Day21】Google Sheets - BUG!爬蟲資料塞錯位置 & 專案出包怎麼辦?

客戶的操作跟你想的不一樣 為什麼寫這篇文章? 其實這份專案完成到昨天的進度時就給業主做功能上的確認準備結案了 但一個案子通常很難一次就通過,無論這隻程式在...

DAY 22

【Day22】Google Sheets - 客戶:我希望新資料插在最前面 & 談需求變更

在驗收階段你就知道一個好的需求規格書有多麼重要 今日目標 1. 了解驗收過程中需求規格書的重要性 2. 談需求變更 3. 將新的爬蟲資料寫到最前面,日期為...

DAY 23

【Day23】Google Sheets - 優化格式,滿足客戶需求 & 談使用者體驗

你是做好一件作品,還是完成一項任務 今日目標 1. 了解使用者體驗為什麼重要 1.1 那些不堪回首的共同回憶 1.2 是什麼原因製造出這些體驗的 1.3...

DAY 24

【Day24】排程 - Cron套件超詳解,讓爬蟲自己動起來

電腦能夠記住的任務就讓電腦來做吧,把腦容量留給更重要的任務 為什麼要學習排程? 在客戶要求這個功能前其實我就把他的雛型完成了,因為我是一個懶人,同時也不是...

DAY 25

【Day25】排程 - 用forever套件來控管排程,背景執行才是王道!

如果一個套件無法解決問題,那就用兩個吧! 思考一下昨天的排程有什麼缺點 昨天完成的排程其實有幾個缺點: 在終端機(Terminal)執行排程後你必須保持...

DAY 26

【Day26】排程 - 重開機後排程不見惹?簡單幾個步驟,從此以後完全自動

解決問題的方法 ≠ 最好的方法;我只是提出我的解法,了解問題發生的原因後你可以想想自己如果遇到了會怎麼解決 為什麼寫這篇文章 昨天的教學讓你的排程穩定的在...

DAY 27

【Day27】為爬蟲加上通知 - 透過 POSTMAN 了解 LINE Notify 如何使用

爬蟲完成後沒發出通知,就像是黯然銷魂飯少了洋蔥 為什麼通知很重要? 在爬蟲的運作完全自動化的狀態下你需要透過接收通知,知道爬蟲執行完畢 通知的內容要簡述...

DAY 28

【Day28】為爬蟲加上通知 - 用 axios 發出 LINE 通知

成功要選人少的路走,套件要選人多的來用 如何選擇 Node.js 中發出 Request 的套件? 雖然眾多的套件都能實現這個目標,但還是把套件做個簡單的...

DAY 29

【Day29】為爬蟲加上通知 - 成功收到 LINE 通知爬蟲摘要訊息,專案大功告成!

除了要有專業外,你更要有技術整合的能力 筆者有話先說 這份專案所用到的各種技術都不難,難的是將這些技術整合成一個能讓客戶買單的專案;當時在跟工程師朋友分享...

DAY 30

【Day30】時間只是考驗,心中信念絲毫未減

當你停止拿著別人的地圖走在自己的人生道路上,那你的人生才算真正的開始。-Peter Su 因為在過去的鐵人賽中很少看到從專案角度來分享技術的文章,所以我選擇...