iT邦幫忙

鐵人檔案

2018 iT 邦幫忙鐵人賽
回列表
DevOps

Puppeteer 系列

Puppeteer 是 Google 主導的,主要可以用來做E2E測試 爬蟲 自動化等等,另外Puppeterr 提供許多好用的工具,相對比較常見的有 Cheerio ,Selenium ,Nightwatch ...等等

參賽天數 30 天 | 共 30 篇文章 | 26 人訂閱 訂閱系列文 RSS系列文 團隊線上讀書會III
DAY 11

Puppeteer & Page API

介紹 這篇來介紹幾個 Page API ,一般在寫爬蟲的時候或是E2E的時候,可能都會用到Cheerio 類 jquery的東西來取得節點近一步再去看要做什麼動...

2017-12-29 ‧ 由 polo 分享
DAY 12

Puppeteer & Heroku

介紹 Heroku是一個不需要建置環境程式上傳後就可以跑起來也支援不同的語言,基本 Heroku 帳號是免費的,填寫一些資料即可申請,在HeroKu 中如何使用...

2017-12-30 ‧ 由 polo 分享
DAY 13

Puppeteer & Docker

介紹 docker 把環境包裝起來程式碼攜帶跨不同平台使用非常方便,讓應用程式布署在軟體容器下的工作可以自動化,基底是Linux作業系統,但也可以在window...

2017-12-31 ‧ 由 polo 分享
DAY 14

Puppeteer & cheerio

介紹 實際透過 Puppeteer 來爬一個網站,選一個喜歡的網站這次來介紹一下cheerio 使用項目 cheerio fs Puppeteer 照前...

2018-01-01 ‧ 由 polo 分享
DAY 15

Puppeteer & evaluate

介紹 前篇介紹了一個cheerio的用法,如果喜歡使用Jquery的朋友可以使用,但是Puppeteer也提供了了一個不錯的evaluate操作可以用來抓取do...

2018-01-02 ‧ 由 polo 分享
DAY 16

Puppeteer & regex101

介紹 接下就是來介紹一個正規化表達式的學習網站 https://regex101.com/ , 在前篇通常會透過cheerio 或是evaluate 去解析...

2018-01-03 ‧ 由 polo 分享
DAY 17

Puppeteer & Rabbitmq

介紹 Puppeteer 因為也可以是爬蟲的角色,這時候就不得不提到任務管理的套件,可以想像如果有個產品頁面有過個class 跟很多產品內頁 ,情況 看起來能...

2018-01-04 ‧ 由 polo 分享
DAY 18

Puppeteer & 工人智慧 驗證

介紹有時候 驗證可以寫一些圖形辨識的部分去判斷,但是如果驗證比較複雜例如要你去查某一頁的第一個字是什麼而且每次的題目都不一樣,這時候就需要工人智慧來驗證了 ,在...

2018-01-05 ‧ 由 polo 分享
DAY 19

Puppeteer & 鐵人自動發文(二)

介紹 避免GG寫一隻可以自動發文的鐵人,前篇已經介紹登入這邊就開始來寫一個自動PO文的範例 接續前篇登入之後,就可以到發文頁面把預先處理好的文章藉由 momen...

2018-01-06 ‧ 由 polo 分享
DAY 20

Puppeteer & 自動鐵人發文(一)

介紹因為鐵人賽我有寫三個主題不過有兩個掛點了,所以這個時候寫個小木偶自動來配合一下發卡文crontab 使用 在 unix liunx crontab 是排程工...

2018-01-07 ‧ 由 polo 分享