リリースカバレッジ

アプリケーションの新規リリースや新規バージョンの準備状況を確認する場合や、重要なテストセットの確認を行いたい場合には、mablのリリースカバレッジページを利用して、テストの現在のステータスを一元的にすばやく確認することができます。

カバレッジページにアクセスしてご確認ください。

このガイドでは、リリースカバレッジページでのフィルタリングと解釈の概要を説明します。

データのフィルタリング

フィルターは、リリースカバレッジページを使用するうえでの出発点となります。フィルターを設定したり削除したりすると、リリースカバレッジページのデータが更新され、フィルターに一致するテストだけが反映されます。

リリースの定義に合わせて、たとえば特定の機能ラベルを持つテストや、過去2週間以内に開発環境内にあるすべてのテストなどにフィルターを設定することにより、リリースカバレッジページのメトリックを使用して、重要なテストやユーザーフローを監視できます。

メトリック一覧

概要レベルのメトリックカードを使用すると、フィルターによって定義されたテストスイートの状況を簡単に把握できます。

1215 — テストステータスの表 (合計成功率やテストごとの最新のステータスと結果を確認できる)。

累積テスト実行数

「累積テスト実行数」チャートは、特定の日付の範囲内で設定したフィルターに一致するすべてのアクティブなテストの一意のテスト実行数を示します。このメトリックを使用すると、フィルターによって定義されるリリースに対してテストスイートのどれだけの割合を実行しているかをすぐに把握できます。実行されていないテストがどれかを知るには、テストステータスの表を使用します。

パフォーマンス

Enterpriseプランのお客様は、パフォーマンスカードを使用して、リリースレベルでのパフォーマンスのリグレッションの可能性を判定できます。パフォーマンスカードには、テストからアクセスされるページやエンドポイントでのパフォーマンスの低下が最大であったブラウザーおよびAPIテストが表示されます。また、フィルターによって定義されたリリースのすべてのテスト実行を対象とするアプリケーション平均読み込み時間および平均API応答時間の増減に関する全体的メトリックも見ることができます。

テストまたは変化率をクリックすると、そのテストのパフォーマンスに関する詳細が表示されます。

📘
パフォーマンスの測定
パフォーマンスデータは、プランの一部としてのテスト実行から計算されます。アドホック実行からのデータは、パフォーマンスメトリックに反映されません。

品質メトリック

[Quality Metrics] タブには、フィルターされたテストのグループに関するテスト実行履歴、アプリケーション平均読み込み時間、分類された失敗の詳細が表示されます。

テスト実行履歴

テスト実行履歴チャートには、フィルターで設定された日付の範囲内の実行履歴が表示されます。

アプリケーション平均読み込み時間

Enterpriseユーザーは、リリースカバレッジページでフィルターされたアプリケーションのアプリケーション平均読み込み時間にアクセスできます。このデータは、mablテストがクラウドでChromeまたはEdgeを使って実行されるたびに (アドホック実行は除く)、Google Lighthouseのスピードインデックスから自動的に収集されます。

このチャートは、すべてのテストを対象に、パフォーマンスの改善と悪化の両面での大きなトレンドを把握するのに役立ちます。

分類された失敗

失敗したテスト実行に失敗の理由を追加した場合、このチャートを使用してテストの失敗を分類できます。

テストステータス

テストステータスの表には特定のテストの結果が表示され、便利なフィルターのセットが使用できます。

📘
注
平均パフォーマンスおよびパフォーマンス変化の列ヘッダーは、Enterpriseプランのワークスペースだけに表示されます。

テストステータスの表でフィルターを使用すると、次のことができます。

実行されていないテストの確認
破損しているテストの発見
実行時間の長いテストの特定
個々のテストのパフォーマンス変化の特定

実行されていないテストの確認

[Latest status] 列ヘッダーをクリックすると、[Not run] インジケーターがあるテストを見つけることができます。これらのテストに直接アクセスしてアドホック実行を開始するか、これらのテストを既存のプランに追加して、テストカバレッジのギャップを埋めることができます。

破損しているか使用されていないテストの発見

[Pass rate] 列ヘッダーをクリックすると、実行済みで成功率が0%のテストを見つけることができます。また、[# of runs] 列ヘッダーをクリックすると、実行回数が0のテストを見つけることができます。リンクをクリックしてこれらのテストにアクセスして修正するか、これらのテストをオフにしてページから完全に除外することができます。

実行時間の長いテストの特定

テストスイートを最適化するには、[Avg. test run time] 列ヘッダーをクリックして、実行時間の長いテストを特定します。テストの全実行時間を短縮するためのヒントについては、テストパフォーマンスの最適化ガイドを参照してください。

個々のテストのパフォーマンス変化の特定

パフォーマンスカードに表示される上位3つのテスト以外のパフォーマンス変化データを見るには、[Performance change] 列ヘッダーをクリックします。この列ヘッダーは、Enterpriseワークスペースだけに表示されます。変化率をクリックすると、そのテストのパフォーマンスページが表示されます。

📘
レポーティングAPI
Mabl レポーティングAPIを使って、プログラムからテスト結果を取得する方法の詳細については、下記のページを参照してください。

レポーティングAPI

(英語) Google Sheets とレポーティングAPIのカスタムインテグレーション

(英語) Node 経由でテスト結果を CSVでエクスポートする

(英語) Bash 経由でテスト結果をCSVでエクスポートする

リリースカバレッジ

データのフィルタリング

メトリック一覧