程式設計不該只是工程師專屬的武器
爬蟲的技術對於身處行銷、電商產業的人更重要
文章並不探討困難的技術,目標是培養解決問題的能力及技術的整合,內容包含:
1. 撰寫程式的前置環境設定,以及推薦開發工具(IDE)
2. nodejs基礎操作
3. 自動抓取網頁資訊(打開虛擬網頁、分析網頁、操作網頁元素)
4. 將取得的資訊放入Google Sheets(read、write、format...)
5. 排程自動執行設定,腳本撰寫
6. 執行完成後透過LINE回報執行狀況
備註:本專案在windows、mac皆可操作
學習,從複製開始 筆者有話先說 有了 Facebook 爬蟲的經驗後,我相信這篇大家是有能力獨自完成的,建議大家先用自己的方式來完成今日目標,這篇文章適合...
有些需求不是複製貼上就能解決的 今日目標 1. 分析實作過程中可能會遇到的問題 1.1 瀏覽器關閉導致無法讀取網頁元件1.2 跨網域(CORS)錯誤 2....
數據顯示,工程師完成最後 20% 的工作時間跟之前的 80% 一樣多 完成功能後,重構是另一個開始 昨天我們完成了一個跑得動的程式,但很明顯這不是一個好的程...
你的絕望我懂! 回憶一下專案之前的應用場景 在 Day8 selenium-webdriver:爬蟲起手式 有使用到 try-catch 來解決抓不到 ch...
即使客戶不懂程式,你也可以讓他學習一點工程師的知識 我們要請客戶將爬蟲的網址列表填寫到什麼檔案呢? 專案在需求規格中有一條是在自己的電腦執行,在分析完各種...
當技術為你的生活帶來便利,他才有存在的意義 為什麼寫這篇文章 如果你跟著這幾天的教學走還是遇到一些莫名其妙的問題,希望在今天的文章有得到你想要的解答 這...
專案最基本的就是:符合客戶預算與實際使用需求 為什麼選擇 Google Sheets 作為資料載體? 一般來說爬蟲的資料都是儲存到資料庫,但是我相信絕大多...
盡信書不如無書 你知道官方範例在做什麼事情嗎? 在跟著官方步驟完成後,這些也是我們要注意的事情 我們安裝了什麼套件? 如果你有用 github 版控...
如果說爬蟲是在鍛鍊你分析網頁的能力,那麼 Google Sheets 就是在教你閱讀官方文件的技巧 爬蟲資料如何自動化的塞入Google Sheets?...
爬蟲是一個技術,他將網頁的數據收集下來Google Sheets 是一個容器,他可以儲存資料並將資料以不同面向做展示爬蟲 X Google Sheets =...