自動化測試用例數量是不是越多越好呢？并不一定。衡量自動化測試用例的產量有點類似于衡量一個應用的代碼數量，并不是數量越多就越好。由于這是一個很簡單明了又方便計算的指標，常常被大家廣泛使用，但是一味追求數量，可能會造成產生大量無效的自動化測試用例這樣的結果。因此建議不要單獨使用該指標來度量自動化測試，而是需要結合其他數據來計算自動化測試執(zhí)行效率和有效自動化測試用例比率等指標，從而來衡量自動化測試系統(tǒng)自身的成熟和完備程度。
和自動化測試用例數量一樣，執(zhí)行次數也并不是越多越好。該指標適合用來衡量和展示自動化測試系統(tǒng)或平臺自身的能力，而并不能很好的體現(xiàn)其產生的實際價值。
自動化測試執(zhí)行成功率
自動化測試執(zhí)行成功率，一般會在單次自動化回歸測試的報告中展示，有時候在流水線中設置成功率的閾值，比如低于某個閾值x%的時候，視為自動化回歸測試不通過。該指標是個很好的過程指標，但并不適合作為常規(guī)度量自動化測試價值的指標。
自動化測試覆蓋率
自動化測試覆蓋率的高低，和被測系統(tǒng)的變更結合起來，能夠很好反饋系統(tǒng)所存在的質量風險。自動化測試覆蓋率，有測試用例覆蓋率、功能覆蓋率、接口覆蓋率和代碼覆蓋率等等。如果自動化測試能夠有很高的覆蓋率，也能夠幫助團隊成員對系統(tǒng)和產品建立信心。只是目前很多團隊的覆蓋率數據統(tǒng)計維度比較單一，而且也不太準確，比如有些團隊是通過人工統(tǒng)計的方式來計算了測試用例覆蓋率，但是并未考慮到測試用例本身就未覆蓋完全的情況。這種情況下，有可能雖然系統(tǒng)具備了較高的測試覆蓋率，但是仍然會有缺陷遺漏的風險。
自動化測試的目的
既然以上的指標并不能夠完全體現(xiàn)自動化測試的價值，那么我們應該如何做呢？我們回歸自動化測試的價值本身，首先自動化測試目前階段并不能完全替代手工測試，而其目的是為了替代一些需要重復執(zhí)行的手工測試和執(zhí)行一些手工無法執(zhí)行的復雜而且容易出錯的測試等等。
推薦閱讀：
sales@spasvo.com
