iT邦幫忙

2024 iThome 鐵人賽

DAY 12
0
Software Development

30 天打造 RPA 自動化流程:Power Automate 從入門到實戰系列 第 12

Power Automate Desktop:瀏覽器自動化基本操作與 UI 元素抓取

  • 分享至 

  • xImage
  •  

一、前言

自動化重複性網頁操作的情境是自動化流程中的常見需求,例如自動登入網站、批量處理資料或是從網頁中爬取資訊。這篇文章將介紹如何使用 Power Automate Desktop 完成網頁瀏覽器的基礎自動操作,並示範如何透過 UI 元素抓取來達成自動化操作目標。

二、示範情境:自動於網頁搜尋資訊

流程設計

這次示範的情境是透過 Power Automate Desktop 自動在 Google 首頁搜尋資料,從最一開始的打開 Google Chrome 網頁瀏覽器開始分享,接著搜尋「維基百科」的關鍵字,並按下搜尋。流程中使用到的各項關鍵動作,則統一於第三段落進行分享。那就先來拆解流程吧!

流程步驟

  1. 啟動新的 Chrome

  2. 按一下視窗中的 UI 元素

  3. 等候 2 秒

  4. 填入視窗中的文字欄位

  5. 等候 2 秒

  6. 傳送按鍵

參考流程畫面

https://ithelp.ithome.com.tw/upload/images/20240924/201694590OPQWara7P.png
Yes

三、使用功能說明

UI 新增元素

如同最初的前幾篇文章所分享,RPA 這個技術非常強調圖性化界面。所以,這個 UI 新增元素的功能乍聽有些抽象,不過可以想像成流程機器人需要透過 UI 畫面來辨識它該去和哪個 UI 元素進行互動或是抓取相對位置。

通常這個功能有兩個常見方式可達成:

第一,可從上方列的錄製程式做紀錄,點選後可以發現畫面會隨著游標移動出現紅框,代表 RPA 機器人正在和電腦介面進行互動了。接著 RPA 會記下你和電腦互動的過程並記錄下來,如果有互動的 UI 元素,也會一併記錄下來存在右側的 UI 元素區。

第二,可直接從右側欄的第二個欄位:UI 元素,選擇新增 UI 元素,同樣點選後會出現紅框,。接著再按照指示 Ctrl+滑鼠左鍵就會存取到 UI 元素了。

按一下視窗中的 UI 元素

承接上一個新增 UI 元素的動作,從左側動作選取「使用者介面自動化」→「視窗」→「按一下視窗中的 UI 元素」。

點選該動作後,共有兩個主要欄位需填寫,第一個是 UI 元素,下拉選擇剛才我們已經建置好了 UI 元素;第二個按一下類型也很直覺,選擇要和滑鼠互動的方式即可。
Yes

填入視窗中的文字欄位

左側動作選取「使用者介面自動化」→「填寫表單」→「填入視窗中的文字欄位」。和前一個動作很類似,文字方塊的欄位同樣下拉選擇剛才建置的 UI 元素;要填入的文字則可視需求填入不同型態的內容,此處直接以文字輸入「維基百科」。

傳送按鍵

當結束上述的流程後,最後就是要按下 enter 鍵送出輸入的關鍵字,左側動作選取「滑鼠和鍵盤」→「傳送按鍵」。這個動作我們要調整的地方是在要傳送的文字,左側有個「插入特殊鍵」,找到 enter 的選項,系統就會自動轉換為按鍵指令帶入了。

流程控制:等待

最後一個好用的小功能也一併附上供參考,當我們把流程外包給機器人後,實務上常有的狀況式機器人操作速度太快了,電腦還沒跑完它就已經急著跑到下個動作執行了,為避免因此出錯,所以我在這個流程中塞入了兩個「等候」動作,並分別設定為 2 秒,目的在於讓它執行完上一個流程時,可以留白兩秒,等候電腦反應過來再繼續執行下一個動作。

四、小結

這篇文章共介紹 5 個必學的動作,分享了如何使用 Power Automate Desktop 來自動化網頁操作,並了解了 UI 元素抓取的基本概念與應用。接著會分享更多網頁瀏覽器的進階功能,希望對大家有幫助!如果你有任何問題或想法,歡迎留言討論!

文章同步刊載於此


上一篇
Power Automate Desktop:迴圈條件應用
下一篇
Power Automate Desktop:網頁瀏覽器資料擷取
系列文
30 天打造 RPA 自動化流程:Power Automate 從入門到實戰26
圖片
  直播研討會
圖片
{{ item.channelVendor }} {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言