Bug 對測試來說很重要, 因此我們需要針對他多做一些分析. 這裏我整理了一些經常使用的分析報表 或是指標. 讓大家可以快速上手.

1. Bug 提交或修復 分佈圖

• 說明
顯示在每個時間點, bug 被提交多少, 或者是 bug 被修復多少

• 用途
可以知道在哪些階段找到 bug
從 Bug 提交斜率可看出是否還有很多 bug
Bug 大約何時開始修復
Bug 修復斜率可看出大約還要修多久
Bug 提交和修復斜率比較, 可以知道 RD/QA 力道如何

圖 25-1 Bug 提交或修復 分佈圖

2. Bug 提交和修復 累積圖

• 說明
顯示bug 被提交的數目累積的狀況, 或者是 bug 被修復多少的累積狀況.

• 用途
根據成長斜率, 可以知道進行的速度如何
根據成長斜率, 可以推算大約還要多久
Gap 可以知道開發人員是否跟測試人員跟得很緊

圖 25-2 Bug 提交和修復 累積圖

3. Bug 與受測模組

• 說明
在哪些模組找到多少 bug

• 用途
哪個 module 比較多 bug
哪個 module 需要多 code review
哪個是 regression test 的重點
利用 Bug 數目/ KLOC 可以看更準
哪些 module 可能要交叉測試

圖 25-3 Bug 與受測模組

4. Bug 注入和發現階段

• 說明
在開發週期中的哪些階段, 產生了多少個 bug. 這裡比較是臆測的值
在開發週期中的哪些階段, 抓到了多少個 bug.

• 用途
看看多早以前就開始進行測試
了解測試左移的效果
看看多早開始修復 bug

5. Aged Bug 統計

• 說明
看看 bug 都撐多久還沒修復. 這裏分成幾種時間區間, 並且看看不同優先級/嚴重程度的 bug 有多少

• 用途
看看優先級/嚴重程度高的, 是否比較在比較短的時間內修復
看看是否有很嚴重, 但是拖很久的 bug
當指派 bug 時, 可以參考哪些要先處理

圖 25-4 Aged Bug 統計

6. Bug reopen 統計

• 說明
目前哪些人身上有幾個 reopen 的 bug

• 用途
看看哪些人比較不小心
看看哪些人需要加強訓練

7. Bug 被發現方式

• 說明
統計目前有哪種測試方式, 各開立了多少測試個案
統計用什麼方式找個的 bug 有幾個

• 用途
看看哪種測試方式找到錯的的 ROI 比較高

8. Bug 與發現者

• 說明
統計那些人找到多少 bug

• 用途
看看哪些人擅長找 bug

9. 解決時間

• 說明
平均每個 bug 修復時間, 或許可以依 severity 再分類

• 用途
看看修復時間是多少, 可以比較上一版, 看看是否進步
預估剩下的 bug 大約還需要多少時間修復

10. Bug 嚴重性分佈

• 說明
按嚴重性(severity)對 Bug 進行分類

• 用途
通常還會再往下展開, 看看哪些模組有幾個 bug
看看哪些模組風險比較高, 如果後期找到問題, 風險有多大.

11. 發佈後發現的錯誤：

• 說明
軟體發布後用戶報告的bug數量
軟體發布後用戶報告的bug數量 / 總共找到的 bug 數目 x 100%

• 用途
了解在未發佈前, 團隊的測試做得好不好

12. 錯誤關閉率

• 說明
關閉的 bug 數目/總共找到的 bug 數目 x 100%

• 用途
了解開發人員是否能將大多數的 bug 都修復.
下一版時可以估大約會修多少, 需要多少時間