iT邦幫忙

鐵人檔案

第 12 屆 iT 邦幫忙鐵人賽
回列表
AI & Data

行銷廣告、電商小編的武器,FB & IG 爬蟲專案從零開始 系列

程式設計不該只是工程師專屬的武器
爬蟲的技術對於身處行銷、電商產業的人更重要

文章並不探討困難的技術,目標是培養解決問題的能力及技術的整合,內容包含:
1. 撰寫程式的前置環境設定,以及推薦開發工具(IDE)
2. nodejs基礎操作
3. 自動抓取網頁資訊(打開虛擬網頁、分析網頁、操作網頁元素)
4. 將取得的資訊放入Google Sheets(read、write、format...)
5. 排程自動執行設定,腳本撰寫
6. 執行完成後透過LINE回報執行狀況

備註:本專案在windows、mac皆可操作

鐵人鍊成 | 共 30 篇文章 | 53 人訂閱 訂閱系列文 RSS系列文 團隊北科大計算機
DAY 11

【Day11】舉一反三,帶你了解IG爬蟲不可忽略的細節

學習,從複製開始 筆者有話先說 有了 Facebook 爬蟲的經驗後,我相信這篇大家是有能力獨自完成的,建議大家先用自己的方式來完成今日目標,這篇文章適合...

DAY 12

【Day12】合體吧!用一隻程式搞定FB、IG爬蟲

有些需求不是複製貼上就能解決的 今日目標 1. 分析實作過程中可能會遇到的問題 1.1 瀏覽器關閉導致無法讀取網頁元件 1.2 跨網域(CORS)錯誤 2...

DAY 13

【Day13】重構程式碼,減少歷史業障

數據顯示,工程師完成最後 20% 的工作時間跟之前的 80% 一樣多 完成功能後,重構是另一個開始 昨天我們完成了一個跑得動的程式,但很明顯這不是一個好的程...

DAY 14

【Day14】爬蟲執行時又又又崩潰了嗎?來點 try-catch 吧

你的絕望我懂! 回憶一下專案之前的應用場景 在 Day8 selenium-webdriver:爬蟲起手式 有使用到 try-catch 來解決抓不到 ch...

DAY 15

【Day15】 json x 爬蟲 = 瑣事自動化,生命應該浪費在美好的事情上

即使客戶不懂程式,你也可以讓他學習一點工程師的知識 我們要請客戶將爬蟲的網址列表填寫到什麼檔案呢? 專案在需求規格中有一條是在自己的電腦執行,在分析完各種...

DAY 16

【Day16】不藏私,加上5行程式就能優化爬蟲的小技巧 & 學會爬蟲,之後呢?

當技術為你的生活帶來便利,他才有存在的意義 為什麼寫這篇文章 如果你跟著這幾天的教學走還是遇到一些莫名其妙的問題,希望在今天的文章有得到你想要的解答 這...

DAY 17

【Day17】Google Sheets - 免費儲存資料的好選擇,一起進入省錢起手式

專案最基本的就是:符合客戶預算與實際使用需求 為什麼選擇 Google Sheets 作為資料載體? 一般來說爬蟲的資料都是儲存到資料庫,但是我相信絕大多...

DAY 18

【Day18】Google Sheets - 加入版控後被github警告了,官方範例做了什麼?

盡信書不如無書 你知道官方範例在做什麼事情嗎? 在跟著官方步驟完成後,這些也是我們要注意的事情 我們安裝了什麼套件? 如果你有用 github 版控...

DAY 19

【Day19】 Google Sheets - 你在文件迷路了嗎?用兩個處理Sheet的範例帶你攻略官方文件

如果說爬蟲是在鍛鍊你分析網頁的能力,那麼 Google Sheets 就是在教你閱讀官方文件的技巧 爬蟲資料如何自動化的塞入Google Sheets?...

DAY 20

【Day20】Google Sheets - 寫入爬蟲資料,跟 Copy & Paste 的日子說掰掰

爬蟲是一個技術,他將網頁的數據收集下來 Google Sheets 是一個容器,他可以儲存資料並將資料以不同面向做展示 爬蟲 X Google Sheets...