iT邦幫忙

鐵人檔案

第 12 屆 iT 邦幫忙鐵人賽
回列表
AI & Data

行銷廣告、電商小編的武器,FB & IG 爬蟲專案從零開始 系列

程式設計不該只是工程師專屬的武器
爬蟲的技術對於身處行銷、電商產業的人更重要

文章並不探討困難的技術,目標是培養解決問題的能力及技術的整合,內容包含:
1. 撰寫程式的前置環境設定,以及推薦開發工具(IDE)
2. nodejs基礎操作
3. 自動抓取網頁資訊(打開虛擬網頁、分析網頁、操作網頁元素)
4. 將取得的資訊放入Google Sheets(read、write、format...)
5. 排程自動執行設定,腳本撰寫
6. 執行完成後透過LINE回報執行狀況

備註:本專案在windows、mac皆可操作

鐵人鍊成 | 共 30 篇文章 | 28 人訂閱 訂閱系列文 RSS系列文 團隊北科大計算機
DAY 1

【Day1】 技術只能陪你一陣子,學會解決問題才能過一輩子

你不用很厲害才開始,你要開始了才會很厲害! 為什麼選擇這個題目? 因朋友職業需求需要搜集與公司同類型品牌FB及IG粉專的資料,用每日追蹤人數的變化及貼文數...

DAY 2

【Day2】開發環境大補帖 - Node.js、NVM、git、yarn、VSCode

工欲善其事,必先利其器 為什麼寫這篇文章? 因為我自己在剛接觸程式時最痛恨的就是環境設定 不知道是我跟電腦不合還是怎樣,每次我學新東西的時候總是在環境設定...

DAY 3

【Day3】努力寫出更好的程式碼,有時你不是一個人在戰鬥

不是每個人都能成為明星,但是所有人都可以努力做到能力範圍的最好,並持續提高 - Henk Vermeyden 接下來幾天,我會把這個專案開發前所需具備的基礎...

DAY 4

【Day4】建立Node.js專案 & 全面解析專案管家package.json

前情提要 前幾天都在分享一些概念以及開發環境的設定,今天我們要正式開始寫程式惹~ 在開始前我會建議你在github官網上面開一個帳號,這個網站是一個管理專案非常...

DAY 5

【Day5】用yarn安裝及控管套件 & 善用關鍵字讓全世界的大神幫你一把

如果屠龍刀是系統贈送的武器,你為什麼要自己打造一個破鐵刀? 為什麼寫這篇文章? 我周圍有些人在面對需求時很喜歡寫一些市面上已經提供的套件而不是直接使用它,而...

DAY 6

【Day6】env - 善用環境變數幫你快速遷移專案

用知識解決問題代表你持續進步,用勞力解決問題只能說明你原地踏步 為什麼專案需要環境變數? 如果你曾經有撰寫網頁端的經驗,你也許體會過以下狀況 某些 fu...

DAY 7

【Day7】gitignore - 杜絕上傳錯誤資料,從此不再發生慘痛經驗

在你的成長的路上總有不少值得你警惕的前輩 為什麼寫這篇文章? 慘痛經驗 part 1 筆者曾待過超瞎的公司,他們對於一個專案遷移的概念還停留在把程式 co...

DAY 8

【Day8】selenium-webdriver:爬蟲起手式,帶你認識所見即所得的爬蟲工具

為什麼選爬蟲作為主題? 在決定以爬蟲作為主題時有朋友勸我不要寫這類有爭議的主題,但因為以下幾點我還是選了這個主題: 爬蟲道德觀:有些網路文章道德觀崩壞,把...

DAY 9

【Day9】爬蟲第一步,FB先登入

⚠️ 在爬蟲前請注意這些事情避免違法 請勿拿來蒐集個人隱私 相片、個人資料 請勿高頻率訪問一個網站 高頻率訪問一個網站可能對導致對方伺服器癱瘓(D...

DAY 10

【Day10】關閉干擾爬蟲的彈窗,將FB粉專追蹤數納入囊中

遇到困難挫折時,多想一下自己的初衷;如果你沒有初衷,那就想一下薪水吧 筆者有話先說 我的文章是以專案的角度寫作,遇到問題才會分析解決的方案,與專門介紹套件的...