技術 Puppeteer - 爬蟲初學

使用介紹 先進行安裝，詳細可參考 puppeteer $ npm i puppeteer 接下來看一下範例 // 引入 puppeteer const pup...

技術 【Day 21】反反爬蟲 (2/2)

昨天發文後想到另一個狀況，是因為系統架構設計的關係，網站上呈現的資料並沒有在第一次發請求時取得，而是在網頁載入後陸續以 AJAX 的方式取得資料顯示在畫面上，或...

技術 (特別篇)Documents-Delivered-Data,Data-DrivenDocuments—爬蟲D3做成D3(上)

沒有資料就沒有燃料，沒有燃料就變成廢料—淺談特別篇 標題取名的緣由一方面來自於d3JS的全名Data-Drive-Documents令一方面Documents-...

技術 使用 Puppeteer 實現自動化測試 - Day9

在非洲每 60 秒就會有 1 分鐘過去，每當工作中有重複的行為，每次耗費 10 秒鐘， 6 次就會耗費 1 分鐘，60 次就等同於 60 分鐘，480 次就等同...

技術 Day 10 無頭瀏覽器異聞錄 （Puppeteer 簡介）

它解決了什麼問題？ Puppeteer 是一層 Chromium 的封裝，提供了 API 讓開發者以程式操作瀏覽器。如此以來便提供了相對可控的執行環境來測試網頁...

技術 #14 Automation (2)

在寫爬蟲程式的時候，我們需要先理解一下目標網站的結構。做自動化時，我們也須了解手動執行時的步驟。 步驟 當我們想在選課網站上刷加選時，我們需要以下步驟： 登入...

技術 #16 Automation (4)

今天寫第二步「進入選課頁面」、第三步「至加選頁面」及第四步「查詢你想要的課程」。 enter 這個函式涵蓋了第二步及第三步，因為不想分太多函式。 async f...

技術 Have fun! 新手也能打造的Javascript微型專案! Day24: 厭倦手動了嗎？用Puppeteer做網頁爬蟲初體驗吧！

tags: ItIron2022 Javascript 前言 網頁爬蟲一直以來是很熱門的話題，許多人在做爬蟲或搶貨機器人都仍是以py較為主流，但實際上javas...