2024 State of Continuous Testing

Perforce Software 是一家為軟體開發生命週期中, 提供解決方案的提供商. 它在 2024 年二月發表了這份測試狀況報告: 2024 State of Continuous Testing Report.

檔案下載網址:
https://www.perforce.com/press-releases/state-of-continuous-testing-report-2024

在這份報告中, 主要作出以下調查結論

• 團隊正在擁抱混和的雲環境
為了要能支援此需求, 團隊需要有工具或是平台能有效支援

• AI 輔助的工具是未來趨勢
團隊正在尋找相關的 AI 工具, 能夠在開發過程中幫助他們.
但是目前僅有少數公司能做到.

• 缺乏自動化資源對團隊來說是最大的挑戰
雖然大家都覺得很重要, 但是沒有資源去做

• Accessibility testing 是最重要的投資重點之一
Accessibility (無障礙)是一個使視覺、聽覺、行動能力, 和認知障礙等殘障人士能夠輕鬆存取您的 Web 和行動應用程式的過程.

這邊我介紹幾個我比較有興趣的主題, 並且是跟測試自動化相關的:

1. 預測 AI 對測試流程的影響

⼈⼯智慧在這幾年火紅到不行, 大家似乎把它當成銀製子彈來看待. 在軟體測試領域也是如此, 很多人在研究它能夠幫忙什麼. 目前聽到比較多的, 是利用 AI 來幫忙建立測試資料或是測試腳本, 這似乎是一個不錯的起點, 畢竟這些事情是很強的剛需.

根據調查報告, 48% 的受訪者表⽰, 他們對AI 感到有興趣, 但尚未開始任何動作.只有 11% 的受訪者已經在實施⼈⼯智慧技術. 正在研究的大約佔 28%.

2. 測試中最大的挑戰是什麼

測試環境通常是測試過程中最大的挑戰之一, 因為經費有限, 你無法買齊各種機器, 並且還要 testing, staging, production 都還要有. 就算有錢買, 你也不見得有空, 針對這些組合都去做測試. 另外, 你還要花時間去維護環境, 安裝, 升級更新, 和清除等等. 如果你們沒有用自動化的方式或工具去幫助, 這個很難處理.

另外, 缺乏資源做測試自動化 這件事情也很有趣. 正常來說, 我們會把資源放在最重要或是最有風險的地方. 而調查結果說 47% 的人說缺乏資源做測試自動化, 這是不是代表其實測試自動化, 並不在優先考量中.

這跟我觀察到的現象很接近, 一堆開發人員和管理者都說測試自動化很重要, 都說要學習相關的技術, 並且很熱衷地在學習, 但是最後往往大多沒有去做. 個人覺得其實大家在意的是時程, 時間到沒有完成是會被叮的, 但是沒做自動化不會. 因此長官並沒有在意它.

3. 未來 6-12個月哪些是你最重要的事

這也是很矛盾的結果. 有 53% 的人想要從手動轉成自動化, 並且 57% 想要提到測試自動化的涵蓋率. 看起來大家的真的很想. 但是, 這還是真的只是想想, 因為上面的調查是現實上 47% 沒有資源去做.

另外, 57% 的人希望減少迴歸測試的時間, 51% 更快地執行測試, 這些都代表沒有足夠的時間, 是大家共同的問題. 只是沒空這個問題, 測試自動化是不是有效的解決方案, 或者是不是唯一的解決方案, 我覺得大家可以思考一下.

即使測試自動化是一個很好的解決方案, 但是在落實的時候, 是否都是一種落實方法, 例如都是在開發完後, 最後才去做它. 還是我們可以在不同時間點去做它, 例如像 TDD 的方式, 先寫測試在開發程式. 或者利用 CI 的作法, 讓這些自動化在早期開始, 且週期性的執行. 這些都是換個觀點思考. 大家可以好好想一下.

4. 哪些事情上花你最多時間

關於測試自動化的部分, 很多人很天真的以為測試程式寫後, 事情就結束了, 一切都不需要人, 然後就可以一直跑一直抓到 bug.

但是事實上, 環境設定和維護也需要自動化. 你還要花時間維護測試腳本, 萬一真的抓到問題, 你也是需要時間分析為什麼失敗. 所以千萬不要只算開發測試自動化的時間, 後面還有很多事要做.

5. 哪種測試自動化是你今年的重點 (2024)

在台灣比較多人提倡的是 unit testing, 但是在很多測試狀態報告中, API tesitng 和 E2E testing 是大宗.

6. 哪些框架你打算在 2024年使用

Cypress 有 31％, Selenium 有 57% 和 Playwright 有佔 29%, 基本上他們是用來進行畫面的自動化測試.

可是根據測試金字塔的建議, UI 端的自動化應該要少做, 因為他容易失敗, 需要花很大的代價來維護. 執行的時間也很長, 一個小時可能執行不到 40 個測試個案. 可是大家都被廣告所欺騙, 以為只要錄一錄畫面操作, 自動化就寫好了.

2023 State of Test Automation

這個也是 Perforce software 所做的, 對數百名 DevOps 專業人士進行調查, 所撰寫出來的2023 年測試自動化狀況年度報告. 以下是最重要的四個見解

檔案下載網址:
https://www.perfecto.io/sites/default/files/pdfs/ebook-perfecto-state-test-automation-23.pdf

• 缺乏自動化資源對團隊來說是最大的挑戰
• 提高測試覆蓋率日益成為軟體測試的優先事項
• 團隊持續專注於非功能測試
想要專注於 API testing, performance testing, 和 App 安全性測試
• 團隊將在 2023 年採用 low code/no code 解決方案。

1. 測試中最大的挑戰是什麼

缺乏資源做測試自動化 這是一直存在的老問題, 都說很重要, 但是同樣都不處理.

2. 未來 6-12個月哪些是你最重要的事

和 2024 年的調查不同. 2024 年的是可以多選, 2023 年的是單選. 所以在單選的狀況下, 大家選的是要做自動化. 但是還是沒資源做.

3. 哪些事情上花你最多時間

和 2024 年的調查不同. 2024 年的是可以多選, 2023 年的是單選.

基本上, 看起來大家都是手動進行測試, 然後期待用自動化來解救自己.

4. 哪種測試自動化是你今年的重點 (2022)

和 2024 年的調查不同. 2024 年的是可以多選, 2023 年的是單選. 但是出乎我意料外的, 是 unit testing 低到不行.

5. 在 2022年你最關心哪些框架

Cypress 和 Playwright 算是很受到歡迎. Low codes 佔很大比例