目錄

• 前言
• 文章規劃
• 為什麼需要 Test Case Management？
• 需求與選擇
  • 需求是什麼？
  • 選擇有哪些？
• 參考資料

前言

最近因工作所需所以稍微詢問與研究了各式的 test case management，在鐵人賽報名期限的最後決定還是來挑戰看看我的第一次。

接下來的日子裡，我會嘗試了解與使用 Zephyr Scale、Xray、TestRail、Qase、TestLodge 這五款 test case management 去整合 JIRA、Jenkins 及 Robot Framework，在研究與比較他們使用的效果後，希望第三十天能夠清楚了解每一款的優缺點。

之前因為時間的關係所以只有了解到非常粗淺的部分，因此在未來三十天的文章內我也是以新手的角度與認知在撰寫文章，內容可能會沒那麼準確，如果有相關經歷的大神們請盡情指教；跟我一樣新手入門的話也非常歡迎底下留言討論！這三十天就是抱持著學習與挑戰自我的心態，最大的目標就是不要只停在 Day 01 XD

文章規劃

在這三十天內，前面四天會介紹開始使用 test case management 前需要了解或 Setup 的東西；中間的二十五天則以五天為單位，分別整理出這五套系統的基本介紹、建立 test case 及 test plan 等基本要素的方法、與 Robot Framewokr on Jenkins 的整合、與 JIRA 的整合及最後使用過後的心得；最後第三十天則是總整理，分析每款 management 的優缺點。

• Day 01 | 前言、規劃及為什麼需要 Test Case Management？
• Day 02 | 重新認識 Test cases、test plans、test cycles 及 test reports
• Day 03 | 建立 test cases、test plans、test cycles：以 591 租屋網為例
• Day 04 | 使用 Robot Framework 將 test case 自動化並在 Jenkins 上執行
• Day 05 | Zephyr Scale: 基本介紹
• Day 06 | Zephyr Scale: 建立 test cases、test plans 及 test cycles
• Day 07 | Zephyr Scale: 整合 Jenkins 上執行的 Robot Framework report
• Day 08 | Zephyr Scale: 整合 JIRA 及產生 test report
• Day 09 | Zephyr Scale: 使用心得
• Day 10 | Xray: 基本介紹
• Day 11 | Xray: 建立 test cases、test plans 及 test cycles
• Day 12 | Xray: 整合 Jenkins 上執行的 Robot Framework report
• Day 13 | Xray: 整合 JIRA 及產生 test report
• Day 14 | Xray: 使用心得
• Day 15 | TestRail: 基本介紹
• Day 16 | TestRail: 建立 test cases、test plans 及 test cycles
• Day 17 | TestRail: 整合 Jenkins 上執行的 Robot Framework report
• Day 18 | TestRail: 整合 JIRA 及產生 test report
• Day 19 | TestRail: 使用心得
• Day 20 | Qase: 基本介紹
• Day 21 | Qase: 建立 test cases、test plans 及 test cycles
• Day 22 | Qase: 整合 Jenkins 上執行的 Robot Framework report
• Day 23 | Qase: 整合 JIRA 及產生 test report
• Day 24 | Qase: 使用心得
• Day 25 | TestLodge: 基本介紹
• Day 26 | TestLodge: 建立 test cases、test plans 及 test cycles
• Day 27 | TestLodge: 整合 Jenkins 上執行的 Robot Framework report
• Day 28 | TestLodge: 整合 JIRA 及產生 test report
• Day 29 | TestLodge: 使用心得
• Day 30 | 最終比較及心得

為什麼需要 Test Case Management？

如果你有 test case，那你可能就會需要 test case management。有些人可能用 Zephyr Scale、有些人用 TestRail，甚至有些人是用 Excel，這些目的都是要更方便地去管理你所有的 test cases。

無法想像 test cases 像是一盤散沙分散在各處，當今天要進行測試的時候你還得從不同地方找出這些 test cases 然後再開始測試，這不是很累人嗎？而且 test case management 的功能越來越多，他可能還可以幫你分類、追蹤錯了多少次、在哪些版本執行過等等。

如果你有 test case，那你不會想要有個 test case management 嗎？

需求與選擇

需求是什麼？

每間公司、每套系統、甚至是每個人的需求都不盡相同，在這邊我就以我個人認為當前公司系統及環境所需的為例：

1. 同時擁有手動及自動化測試
   • 因為同時擁有手動及自動化測試的關係，我希望我使用的系統能夠方便、快速的讓使用者知道當前 test case 是還在手動測試的階段呢？或者是已經被自動化了？如此一來手動測試的 QA 就可以清楚地知道還有哪些是需要他們手動測的，才不會造成明明已經自動化了，卻還是一直浪費時間在手動測試同一個 test case。
2. 能夠整合 JIRA 上的 tickets
   • 因為公司是使用 JIRA，所以希望能夠有一定程度的整合，或許能讓 RD 跟 QA 透過 JIRA 上的 ticket 即可 link 到相關的 test case。
3. 能夠 import 舊有的 test cases
   • 目前我們使用的是 Zephyr Scale，希望能夠直接從 Zephyr Scale export 所有 test cases 然後 import 到新的系統中。

選擇有哪些？

只要去 Google 搜尋 Test Case Management，就會跳出數不清的結果，但如果每種都比較的話，一定會寫不完，因此這個系列文所比較的五種是由以下來源提供的：

1. 公司現在使用的
   • Zephyr Scale
2. 朋友公司現在使用的
   • TestRail、Qase
3. 自己 Google 的
   • Xray
4. 主管推薦的
   • TestLodge

我知道還有很多我沒有使用過的系統，因為目前還在尋找適合我們公司的 management，所以這邊想請教大家

你的公司目前是使用哪一套 Test Case Management 呢？

因為目前我也還沒確認到底要使用哪一套系統，希望大家能夠花幾秒鐘的時間在底下留言告訴我，給我更多的選擇 : )

參考資料

• Understanding Test Case Management