在桌面自動化 (Desktop Automation) 操作中，我們可能會遇到一個非常棘手的問題就是圖片判斷，我們在上周已經成功讓自動化工作執行，他可以順利的點擊桌面內容，但是有一個問題是如果我們有連續點擊的需求時，我們的滑鼠游標會擋住圖片辨識，這樣有極高的機率導致圖片辨識有誤。
回顧前一天文章：Five mins RPA | 17. 自動化模擬桌面操作
我們在昨天有介紹到 Crop List 會將你要進行圖片辨識的資源給存起來，我們只要在 No-Code 模式中點擊 List 即可進入查看我們儲存的圖片，但是當我們在連續輸入時。這個圖片辨識就會產生出問題了。
即使我們已經在桌面自動化之前確保部署的自動化技能的電腦設置與訓練時的電腦完全一致。但是有一件事情還是會導致滑鼠干擾辨識，那就是「連續輸入」，假設我們要輸入 77 就會產生這樣的問題。滑鼠會移到 7 的上面點擊，第一次 7 可以正常識別 (7)，但是當他要點第二次 7 的時候就會錯誤(滑鼠在7上)，他沒辦法滑鼠在 7 上面的圖片，導致錯誤。因此今天要介紹的是 Crop。
一樣放上訓練介面介紹，幫助大家做記憶，訓練模式面板分為三種模式：Live 模式、NoCode 模式和LowCode模式。
在 Live 模式中，我們可以自由調整桌面以符合流程開始時的要求，然後點擊快門 (Shot) 按鈕以獲取螢幕截圖。或是使用 (Ctrl/Cmd+0) 快捷鍵執行快門，或使用 (Ctrl/Cmd+5) 執行延遲5秒的快門。使我們能夠捕捉桌面的當前狀態，以便稍後重現。
在 NoCode 模式中，我們可以使用滑鼠操作來選擇流程步驟的指令，例如打開文件、輸入文本、發送按鍵、等待、複製坐標、單擊左鍵、單擊右鍵等。當指令生成後，會自動被轉化為 LowCode 模式的程式碼，這樣我們就可以更深入地自定義操作。
LowCode 用於手動調整 No-Code 模式生成的程式碼，我們在 No-Code 獲得了自動程式碼後，可以進入 LowCode 模式來進行微調，編輯和調整程式碼，以確保內容能夠完全滿足需求。
建立訓練命名技能群組，點擊『Desktop Automation』後，Open Trainer UI 將進入該物件上截圖。
進入 Live 模式中點擊快門 (Shot) 按鈕獲取螢幕截圖，之後我們點選到 No-Code 模式，可以進行螢幕截圖，截圖這次選擇 Crop 方法，即會跳出 Screen Crop 畫面。這就是我們
進入 Crop List 查看剛剛的圖片，點選「Click Crop」可以將程式碼結果儲存起來至 Low-Code 模式中，我們再切換至 Low-Code 模式，可以看見剛剛 Crop 的資料儲存到 Low-Code 中，我們複製程式碼執行兩次。但是會發現實際執行結果 只有跑出一次而已，這是因為第二次點擊時，滑鼠將計算機給擋住了。
：按下第一個 7 → RPA 找尋計算機上 1 的截圖 → 找到後點擊 1
：按下第二個 7 → RPA 找尋計算機上 1 的截圖 → 滑鼠擋住了截圖 → 沒有找到
這次我們回到 Live 模式中，重新進行截圖，完成截圖後框選範圍 CROP，可以進入倒 Screen Crop 頁面，此時我們打開 MASK 按鈕，即可開始遮罩去背景模式，我們能夠看到在 Crop List 中，有無去除背景的結果是不同的，我們一樣點擊 Click Crop 將去背後的程式放入程式碼中。
切換至 Low-Code 查詢剛剛儲存到 Low-Code 中的資料，複製程式碼執行兩次。應該就能夠正常執行 77 了。確定沒問題後，我們可以再來繼續完整程式碼設計，比如說「77 / 7」。
一切完成後 Commit 程式碼將被推送到最終 (FINAL) 區域，點擊 Run 測試執行程式，沒有問題後回到原本外面的視窗，看看完整程式碼有沒有成功上傳。
黃仁勳的一句話讓這個世界都瘋了，身為與數據打交道多年的我們能做些什麼呢? 很簡單就是跟著一起瘋。「You Learn the more, you Get the more.」。沒想到鐵人賽又一年了呢，這篇是 【Five mins RPA】 系列文章除此之外也歡迎大家走走逛逛關於我過去的文章
一個正在為 300 多萬訂閱的 Youtuber 服務的資料科學家，擅長將商管行銷導入機器學習與人工智慧，並且從大量的數據中找出 Insight，待過 FMCG、Communication、Digital Marketing，最近一直在資訊圈打滾，趕著不被這波人工智慧浪潮給吞噬，寫文章寫了好一段時間了，期待著這個社會每個人能在各個角力間不斷沖突而漸能找到一個平衡點並回歸最初的初心。
iThome鐵人賽
看影片追技術