テストライブラリが大きくなるにつれて、健全なテストスイートを維持することは難しくなります。メンテナンス作業の優先順位を効果的に決められるよう、mablアプリのカバレッジダッシュボード（カバレッジ > 概要）に新しいテスト品質テーブルを追加しました。
このテーブルでは、各テストにquality score（0〜100の総合スコア）が導入されています。このスコアは、成功率、安定性、信頼性を組み合わせたものです。これらのいずれかの指標でスコアが低い場合、総合スコアも下がるため、メンテナンスが必要なテストをすばやく特定できます。
仕組み
3つのスコアリング指標の仕組みは次のとおりです。
- Pass rate：テストのすべての試行が成功したプランの実行の割合。
- Stability：プランの実行全体を通じて、テストが同じ結果をどれだけ一貫して生成するかを示します。安定性が低いテストは、成功と失敗を繰り返す不安定なテストであることを示しています。
- Reliability：連続した実行間で、テストが成功し続ける安定度を示します。安定性が高くても信頼性が低いテストは、一貫して失敗しています。これは、テストが不安定なのではなく、壊れているサインです。
総合的なquality scoreでは、各ディメンションに異なる重みが付けられており、3つのディメンションのいずれかでスコアが低いと、全体のスコアが大幅に下がる可能性があります。たとえば、信頼性が50%のテストは、品質スコアを大幅に引き下げる可能性があります。50%という数値は、信頼性が高いとは言えないためです。
使用方法
新しいテスト品質テーブルは、他のカバレッジダッシュボードの指標と同じフィルターに対応しているため、アプリケーションや環境などのフィルターを使用して、テストスイートの特定のセグメントを詳しく確認できます。
ワークスペースのレビュー中に、テスト品質テーブルのフィルタリングされた結果を確認して、メンテナンスが必要なテストを特定できます。例えば：
- 不安定なテストの特定：安定性が低く、信頼性が中程度のテストは不安定である可能性が高く、ロケーターまたは待機条件の更新が必要な場合があります。
- 壊れたテストを特定する: 安定性が高く信頼性が低いテストは、継続的に失敗しており、アプリケーションの実際の課題や古くなったテストフローを反映している可能性があります。
- CI/CDの準備状況を評価する: 信頼性メトリクスを使用して、テストがCI/CDパイプラインに統合できるほど安定しているかどうかを判断しましょう。
詳細はこちら
カバレッジダッシュボードの詳細については、ヘルプドキュメントをご覧ください。ご不明な点がございましたら、お気軽にお問い合わせいただくか、アプリ内チャットからご連絡ください。