リリースカバレッジ

アプリケーションの新規リリースや新規バージョンの準備状況を確認する場合や、重要なテストセットの確認を行いたい場合には、mablのリリースカバレッジページを利用して、テストの現在のステータスを一元的にすばやく確認することができます。カバレッジページにアクセスしてご確認ください。

17301730

品質メトリックの概要情報が記載されたリリースカバレッジのメインダッシュボード

ユースケース

リスクの確認

リリースカバレッジページは、テストに関連するリスクを2つの重要な側面から把握するのに役立ちます。

まず、バージョン、リリース、ブランチ、または時間ベース (2週間のスプリントなど) などの面から、アプリケーションのテストが十分に実行されているかどうかを把握できます。このページの上部にあるメインセクションでは、特定の機能ラベルを持つテストや、ある2週間の期間に開発環境にあるすべてのテストなど、関心のある内容に絞り込むことができます。上部にあるチャートでは、実行したテストの直近のステータスや、実行可能なすべてのテストが実行されたかどうかを確認することができます。

次に、テストがすべて成功している場合でも、リリースに関連する追加のリスクの有無を把握できます。この機能では、この現行リリースでのテスト実行ごとの最近のステータスと結果などの情報を確認できます。

重要なテストおよび重要なユーザーフローのモニタリング

テストラベル機能を使用して、ダッシュボードビューに含まれるテストの範囲を制限します。テストラベルをすばやく切り替えて、さまざまな機能や製品領域に対するテストのレベルを確認します。

アプリケーション全体でのパフォーマンスのモニタリング

Enterpriseユーザーは、リリース時に測定されたアプリケーションの「Average app load time (アプリケーション平均読み込み時間)」にアクセスできます。このデータは、アドホック実行でない限り、mablテストがクラウドでChromeを使って実行されるたびにGoogle Lighthouseの速度インデックスから自動的に収集されます。その後、上記のラベルと一致するテスト (「チェックアウトエクスペリエンス」など) にフィルタリングされ、日ごとの平均値が算出されます。これは、個別のツールを使用することなく、すべてのテストを対象に、改善および後退の両面から、パフォーマンスの大きなトレンドを把握するのに役立ちます。

869869

信頼性の低いテストの特定.

[Test status] ページにアクセスし、テストの最新のステータス情報に加えて、この期間中のテストの成功率を確認します。成功率の最も低いテストを基準に並べ替えて、破損しているテストや信頼性の低いテストをすばやく特定します。

23722372

テストステータスの表 (合計成功率やテストごとの最新のステータスと結果を確認できる)。

実行されていないテストの確認

[Test status] ページにアクセスし、[Status] を並べ替えて [Not Run] と表示されているテストを確認します。これらのテストに直接アクセスしてアドホック実行を開始するか、これらのテストを既存のプランに追加して、テストカバレッジのギャップを埋めることができます。

破損しているテストの発見

[Test status] ページにアクセスし、テストは実行されているが成功率が0%と表示されているテストを確認します。リンクをクリックしてこれらのテストに直接アクセスして修正するか、これらのテストをオフにしてページから完全に除外します。

🚧

アプリケーションによるフィルタリング

現在、ワークスペースレベルのアプリケーションフィルタリングでは、このダッシュボードのフィルタリングは行われません。重要なテストのグループ (特定の機能をテストするグループなど) の識別には、テストラベルを使用することをお勧めします。ご質問がある場合は、アプリケーション内のチャットでお問い合わせください。

FAQ

分母の数 (テストの合計数) はどのようにして計算されるのですか?

これは、ワークスペース内のアクティブなすべてのテスト (「オフ」になっていないテスト) の数です。フィルターにテストラベルを追加すると分母の数が変わり、そのテストラベルと一致するテストのみがカウントされるようになります。このため、関心のあるアプリケーションの機能に関連するカバレッジを確認することができます。現時点では、これ以外のフィルターによって分母の数が変更されることはありません。

以下の例では、ワークスペース内に100個のテストが存在すると仮定します。これらのテストのうちの20個には、「checkout」というテストラベルが付いています。

  • フィルターの設定なし = 総数100個のテストをカウント
  • テストラベルフィルターを「checkout」に設定 = 総数20個のテストをカウント
  • 開始/終了時刻のみを設定 = 総数100個のテストをカウント
  • 環境のみを設定 = 総数100個のテストをカウント

分子の数 (テスト実行の合計数) はどのようにして計算されるのですか?

このメトリックは、一意のテスト実行の累積数です。テストが「テストの合計数」(分母の数) にカウントされるものである場合、クラウドでテストが実行されると、テストが設定したフィルターと一致していれば、そのテスト実行は一意のテスト実行に加算されます。

選択するフィルターによっては、次のような例外があります。

  1. 環境フィルターでは、指定した環境のテスト実行のみがカウントされます。
  2. 開始/終了時刻フィルターでは、その期間中 (最大60日) のテスト実行のみがカウントされます。

テスト名、プラン名、プランラベル、アプリケーションの一部を使ってフィルタリングすることはできますか?

現時点ではできません。お客様の用途でこの機能が不可欠な場合は、mablチームまでお問い合わせください。


Did this page help you?