桌面自動化(Desktop Automation)：簡化工作流程

隨著技術的不斷演進，桌面自動化 (Desktop Automation) 已經成為提高工作效率和精確性的一個關鍵工具。在本文中我們將深入探討桌面自動化的概念以及如何使用它來簡化你的工作流程。無論你是程式設計師又或是只是想提高日常工作的效率，桌面自動化都能夠為你提供極大的幫助。

回顧前一天文章：Five mins RPA | 16. Word 大量文件自動處理

什麼是桌面自動化(Desktop Automation)?

在開始之前，讓我們先了解一下桌面自動化的基本概念。桌面自動化 (Desktop Automation) 通過模擬我們實際使用滑鼠和鍵盤的方式，來自動執行桌面應用程序中的特定任務。這意味著，無論我們在電腦上需要執行多麼複雜的操作，桌面自動化都可以為你自動完成，從而節省你寶貴的時間和精力。

在使用桌面自動化之前，需要確保部署的自動化技能的電腦設置與訓練時的電腦完全一致。這包括解析度、顏色深度、文字放大比例等電腦設置。最好的方法是在原本部署自動化的電腦上進行技能訓練，以確保一致性，雲端 hub 下載的檔案有可能會發生環境錯誤，同時也需要避免在自動化技能執行期間對電腦進行任何操作，以防止干擾滑鼠和鍵盤的正常運作。

訓練介面

要使用桌面自動化，我們需要點擊 "OPEN TRAINER UI" 啟動訓練模式面板，你可以在電腦上設定自動化流程，或者通過同一網段 (http://127.0.0.1:3100) 的另一台電腦瀏覽器連接到 Trainer URL 來遠程進行自動化設計。訓練模式面板分為三種模式：Live模式、No-Code模式和Low-Code模式。

• Live 模式

在 Live 模式中，我們可以自由調整桌面以符合流程開始時的要求，然後點擊快門 (Shot) 按鈕以獲取螢幕截圖。或是使用 (Ctrl/Cmd+0) 快捷鍵執行快門，或使用 (Ctrl/Cmd+5) 執行延遲5秒的快門。使我們能夠捕捉桌面的當前狀態，以便稍後重現。

• No-Code 模式

在 No-Code 模式中，我們可以使用滑鼠操作來選擇流程步驟的指令，例如打開文件、輸入文本、發送按鍵、等待、複製坐標、單擊左鍵、單擊右鍵等。當指令生成後，會自動被轉化為 Low-Code 模式的程式碼，這樣我們就可以更深入地自定義操作。

• Low-Code 模式

Low-Code 用於手動調整 No-Code 模式生成的程式碼，我們在 No-Code 獲得了自動程式碼後，可以進入 Low-Code 模式來進行微調，編輯和調整程式碼，以確保內容能夠完全滿足需求。

開啟今天訓練內容：Desktop Automation 模組

• 開啟 Desktop Automation 模組

建立訓練命名技能群組，點擊『Desktop Automation』後，Open Trainer UI 將進入該物件上截圖。

• 在 Live 模式中進行物件截圖

首先我們進入預設為 Live 模式中，我們可以自由調整桌面內容以符合需求，此時我們可以點擊快門 (Shot) 按鈕以獲取螢幕截圖，之後我們點選到 No-Code 模式，可以切換到截圖頁面。

• 小算盤點擊 7

這邊以小算盤作為示範，我們打開小算盤完成截圖後，進入 NoCode 模式，此時把畫面上小算盤的 7 給框起來，這樣可以抓取到這項資料，我們點選「Click Crop」可以將程式碼結果儲存起來至 Low-Code 模式中，我們再切換至 Low-Code 模式，可以看見剛剛 Crop 的資料儲存到 Low-Code 中。

• 小算盤點擊乘法符號 X

接下來我們可以點擊乘法符號，除了上方介紹的「Click Crop」可以直接獲得程式碼外，也可以使用「Crop」來取得數字截圖，若有大量截圖需求時，這會是個方便的方法。截圖後選取 Crop 可以將圖片存入 Crop List，在 No-Code Mode 的模式下，進入 Crop List 相簿可以看到以下截圖畫面，這就是 RPA 做學習判斷時所根據的圖片。

• 根據需求點擊我們的算式

我們可以從 Crop List 點選「Click Drop」，會將抓取的程式碼存入 Low-Code 模式中，我們點選一次 7，一次 X，再一次 7，來完成 7x7 的計算使用。同樣的我們可以補上最後的等於。

• LowCode Mode 確認並且上傳程式碼

一旦你完成了所有步驟指令的設計，請不要忘記 Commit 程式碼。這是非常重要的，因為你的指令將被推送到最終 (FINAL) 區域才能正確執行自動化流程。如果你不小心忘記了Commit 了也不用擔心，可以打開訓練模式的工作資料夾，並找到最終區域的程式碼，然後手動儲存它。這就是我們最終所執行的程式碼，接下來點擊 Run 即可執行程式。

• 結束訓練

最後跳出去視窗，可以看見我們的程式碼被完整上傳，Debug 與 Test 沒有問題後，即可完成本次的技能訓練。桌面自動化老實說我自己認為是一個非常強大的工具，過去受限很多軟體應用，但是這次的設計可以幫助我們自動執行各種桌面應用程序中的任務。

這個世界瘋了，但我們也可以跟著瘋

黃仁勳的一句話讓這個世界都瘋了，身為與數據打交道多年的我們能做些什麼呢? 很簡單就是跟著一起瘋。「You Learn the more, you Get the more.」。沒想到鐵人賽又一年了呢，這篇是 【Five mins RPA】 系列文章除此之外也歡迎大家走走逛逛關於我過去的文章

• 2021 iThome 鐵人賽：Python - 數位行銷分析與 Youtube API 教學
• 2022 iThome 鐵人賽：先別急著學 Python | The Secret to Success in Python

Jerry Chien

一個正在為 300 多萬訂閱的 Youtuber 服務的資料科學家，擅長將商管行銷導入機器學習與人工智慧，並且從大量的數據中找出 Insight，待過 FMCG、Communication、Digital Marketing，最近一直在資訊圈打滾，趕著不被這波人工智慧浪潮給吞噬，寫文章寫了好一段時間了，期待著這個社會每個人能在各個角力間不斷沖突而漸能找到一個平衡點並回歸最初的初心。