カバレッジ概要ダッシュボードで、テストスイートの状況をすばやく把握できます ([カバレッジ] > [概要])。この記事では、カバレッジ概要ダッシュボードでのメトリックの算出方法について説明します。
開始する前に
カバレッジ概要ダッシュボードでメトリックを分析する前に、フィルターを更新して評価を行うテストを定義します (特定のラベルを持つテスト、過去2週間の開発環境内にあるすべてのテストなど)。
「アプリケーション」および「プランラベル」のフィルターには、プランに関連付けられたテストのみが含まれることに注意してください。
最新のテスト成功率
最新のテスト成功率は、定義されたテストスイート内のアクティブなテストの最新ステータスを示します。このメトリックは、リリースの状態を把握するうえで役立ちます。
たとえば、次のリリースに向けて100件のテストを実行し、最新のテスト成功率が40%である場合、最新の実行で100件のうち40件のテストが成功し、残りの60件のテストは失敗しています。
累積テスト実行数
累積テスト実行数グラフは、特定の日付の範囲内で設定したフィルターに一致するすべてのアクティブなテストの一意のテスト実行数を示します。このメトリックを使用すると、フィルターで定義されたリリースに対して実行されているテストスイートの割合をすばやく確認できます。
たとえば、累積テスト実行数が149/177となっている場合、フィルターに一致する総数177個のテストのうち149個の一意のテストが実行されたことを示しています。
フィルターを適用すると、累積テスト実行数のメトリックが変更されます。たとえば、ワークスペース内に100個のアクティブなテストが存在し、これらのテストのうちの20個に「checkout」というテストラベルが付いている場合、カウントされるテスト数はフィルターによって次のようになります。
- フィルターの設定なし = 総数100個のテストをカウント
- テストラベルフィルターを「checkout」に設定 = 総数20個のテストをカウント
- 開始/終了時刻のみを設定 = 総数100個のテストをカウント
- 環境のみを設定 = 総数100個のテストをカウント
アプリケーションの読み込み時間の増加が上位のテスト
[アプリの読み込み時間が増加したテスト] (アプリケーションの読み込み時間の増加が上位のテスト) の表には、フィルターに一致するテストでのパフォーマンスのリグレッションの可能性が示されます。この表には、次の内容が示されます。
- テストからアクセスされるページやエンドポイントでのパフォーマンスの低下が最大であったブラウザーおよびAPIテスト。テストまたは変化率をクリックすると、そのテストのパフォーマンスに関する詳細が表示されます。
- フィルターで定義されたリリースのすべてのテスト実行を対象とするアプリケーション平均読み込み時間および平均APIレスポンスタイムの全体的な増減。
アプリケーションの読み込み時間とAPIレスポンスタイム
mablは、アプリケーションの読み込み時間とAPIレスポンスタイムを使ってテストパフォーマンスを算出します。
- アプリケーション累積読み込み時間とは、テストのすべてのステップのスピードインデックスの和です。アプリケーション累積読み込み時間を使用すれば、エンドユーザーがアプリケーションの読み込みを待っている間に実際に体験する時間の合計を測定できます。mablによるテスト実行にかかる時間は含まれません。
- 累積APIレスポンスタイムは、テスト内のすべてのリクエストのAPIレスポンスタイムの和を測定するもので、リクエストの間の時間など、他の「mabl」時間は含まれません。
パフォーマンスデータに含まれるのは、プラン実行の一部である完了したテスト実行だけです。パフォーマンスデータに表示されるためには、テストが以下の条件を満たしている必要があります。
- プランでの実行: アドホック実行からのデータは、パフォーマンスメトリックに反映されません。
- 最小実行数: テストは、日付の範囲の前半で3回以上、後半で3回以上実行されている必要があります。
- 一致するフィルター: パフォーマンスカードに含まれるためには、テストはリリースカバレッジページで設定されたフィルターに一致する必要があります。
- パフォーマンス悪化のトレンド: 日付の範囲の前半よりも後半のほうがアプリケーション読み込み時間 (ブラウザーテスト) またはAPIレスポンスタイム (APIテスト) が長くなっているテストだけが、パフォーマンスカードに含まれます。
品質メトリック
[品質指標] タブには、フィルターされたテストのグループに関するテストアクティビティ、テスト実行履歴、アプリケーション平均読み込み時間、分類された失敗の詳細が表示されます。
テストアクティビティ
上部にあるカードは、フィルタリングされた範囲のテストのテストアクティビティを表しています。
- テスト実行: フィルタリングされた範囲内に実行されたブラウザーテストおよびAPIテストの総数。この数字には、フィルタリングされた範囲のテストに対するデフォルトの「ホームページ訪問」テストと「リンククローラー」テストのテスト実行が含まれています。
- 新しいテスト: フィルタリングされた範囲内に作成された新しいテストの数。
- 更新されたテスト: フィルタリングされた範囲内に更新されたテストの数。
注
カバレッジ概要ダッシュボードでは、使用状況ページ ([ワークスペース] > [ご利用状況]) と異なる形でテスト実行を測定します。使用状況ページでは、デフォルトの「ホームページ訪問」テストと「リンククローラー」テストが合計のテスト実行回数にカウントされません。
テスト実行履歴
テスト実行履歴チャートには、フィルターで設定された日付の範囲内の実行履歴が表示されます。
アプリケーション平均読み込み時間
フィルターに一致するテストのアプリケーション平均読み込み時間を表示します。アプリケーション平均読み込み時間は、mablテストがChromeまたはEdgeを使ってプランで実行されるたびに、Google Lighthouseのスピードインデックスから自動的に収集されます。
このチャートを使用して、すべてのテストを対象に、パフォーマンスの改善と悪化の両面での大きなトレンドを把握することができます。
分類された失敗
失敗したテスト実行に失敗の理由を追加した場合、このチャートには、フィルターに一致する分類されたテストの失敗が表示されます。
テストステータス
テストステータスの表には、フィルターでの指定に基づいて、すべてのテストの実行ステータスの概要が表示されます。[テスト成功率] や [平均テスト実行時間] などの列ヘッダーをクリックすると、パフォーマンスの低いテストを表示できます。この表は、自動化されたテストを定期的にレビューする場合に特に役立ちます。
レポートAPI
バッチ結果エンドポイントを使用して、テスト実行に関する情報をプログラムで取得できます。