リリースカバレッジ
リリースカバレッジページでのデータのフィルタリングと解釈
アプリケーションの新規リリースや新規バージョンの準備状況を確認する場合や、重要なテストセットの確認を行いたい場合には、mablのリリースカバレッジページを利用して、テストの現在のステータスを一元的にすばやく確認することができます。
カバレッジページにアクセスしてご確認ください。
リリースカバレッジページ
このガイドでは、リリースカバレッジページでのフィルタリングと解釈の概要を説明します。
データのフィルタリング
フィルターは、リリースカバレッジページを使用するうえでの出発点となります。フィルターを設定したり削除したりすると、リリースカバレッジページのデータが更新され、フィルターに一致するテストだけが反映されます。
リリースカバレッジフィルター
リリースの定義に合わせて、たとえば特定の機能ラベルを持つテストや、過去2週間以内に開発環境内にあるすべてのテストなどにフィルターを設定することにより、リリースカバレッジページのメトリックを使用して、重要なテストやユーザーフローを監視できます。
メトリック一覧
概要レベルのメトリックカードを使用すると、フィルターによって定義されたテストスイートの状況を簡単に把握できます。
テストステータスの表 (合計成功率やテストごとの最新のステータスと結果を確認できる)。
最新のテスト成功率
「最新のテスト成功率」は、定義されたテストスイート内のアクティブなテストの最新ステータスを示します。このメトリックは、リリースの状態を知るために役立ちます。
例えば、次のリリースに向けて100のテストを実行し、直近のテスト合格率が40%だった場合、100のテストのうち40のテストが直近の実行で合格し、60のテストは失敗していたことになります。
累積テスト実行数
「累積テスト実行数」チャートは、特定の日付の範囲内で設定したフィルターに一致するすべてのアクティブなテストの一意のテスト実行数を示します。このメトリックを使用すると、フィルターによって定義されるリリースに対してテストスイートのどれだけの割合を実行しているかをすぐに把握できます。実行されていないテストがどれかを知るには、テストステータスの表を使用します。
パフォーマンス
Enterpriseプランのお客様は、パフォーマンスカードを使用して、リリースレベルでのパフォーマンスのリグレッションの可能性を判定できます。パフォーマンスカードには、テストからアクセスされるページやエンドポイントでのパフォーマンスの低下が最大であったブラウザーおよびAPIテストが表示されます。また、フィルターによって定義されたリリースのすべてのテスト実行を対象とするアプリケーション平均読み込み時間および平均API応答時間の増減に関する全体的メトリックも見ることができます。
テストまたは変化率をクリックすると、そのテストのパフォーマンスに関する詳細が表示されます。
パフォーマンスの測定
パフォーマンスデータは、プランの一部としてのテスト実行から計算されます。アドホック実行からのデータは、パフォーマンスメトリックに反映されません。
品質指標
「品質指標」タブには、フィルタリングされたテストのテストアクティビティ、テスト実行履歴、アプリ平均読み込み時間、テスト失敗の分類の詳細が表示されます。
テストアクティビティ
上部にある数字のカードはフィルタリングされたテストのテストアクティビティを表しています:
- テスト実行: テストをフィルタリングされたブラウザテストとAPIテストの合計の数を表しています。この数字にはフィルタリングされたテストに対するMablによってデフォルトで作成されている「Visit home page」プランと「リンククローラー」プランの実行回数がふくまれています。
- 新しいテスト: 日付によってフィルタリングされた新しいテストの数を表しています。
- 更新されたテスト: 日付によってフィルタリングされ、更新されたテストの数を表しています。
テストアクティビティカード
ご注意
リリースカバレッジダッシュボードは、使用状況ページ「ワークスペース→ご利用状況」とは異なる方法でテスト実行回数がカウントされています:
- 「ご利用状況」ページは請求によってAPI実行数をカウントし、合計のAPIテスト実行回数ではなくてAPIステップ実行回数をカウントしています。
- ご利用状況」ページには「Visit home page」テストと「リンククローラー」テストの実行回数を合計の実行回数に含まれていません。
テスト実行履歴
テスト実行履歴チャートには、フィルターで設定された日付の範囲内の実行履歴が表示されます。
アプリケーション平均読み込み時間
Enterpriseユーザーは、リリースカバレッジページでフィルターされたアプリケーションのアプリケーション平均読み込み時間にアクセスできます。このデータは、mablテストがクラウドでChromeまたはEdgeを使って実行されるたびに (アドホック実行は除く)、Google Lighthouseのスピードインデックスから自動的に収集されます。
このチャートは、すべてのテストを対象に、パフォーマンスの改善と悪化の両面での大きなトレンドを把握するのに役立ちます。
アプリケーション平均読み込み時間を測定するチャート
分類された失敗
失敗したテスト実行に失敗の理由を追加した場合、このチャートを使用してテストの失敗を分類できます。
分類された失敗チャート
テストステータス
テストステータスの表には特定のテストの結果が表示され、便利なフィルターのセットが使用できます。
注
平均パフォーマンスおよびパフォーマンス変化の列ヘッダーは、Enterpriseプランのワークスペースだけに表示されます。
テストステータスの表
テストステータスの表でフィルターを使用すると、次のことができます。
- 実行されていないテストの確認
- 破損しているテストの発見
- 実行時間の長いテストの特定
- 個々のテストのパフォーマンス変化の特定
実行されていないテストの確認
[Latest status] 列ヘッダーをクリックすると、[Not run] インジケーターがあるテストを見つけることができます。これらのテストに直接アクセスしてアドホック実行を開始するか、これらのテストを既存のプランに追加して、テストカバレッジのギャップを埋めることができます。
破損しているか使用されていないテストの発見
[Pass rate] 列ヘッダーをクリックすると、実行済みで成功率が0%のテストを見つけることができます。また、[# of runs] 列ヘッダーをクリックすると、実行回数が0のテストを見つけることができます。リンクをクリックしてこれらのテストにアクセスして修正するか、これらのテストをオフにしてページから完全に除外することができます。
実行時間の長いテストの特定
テストスイートを最適化するには、[Avg. test run time] 列ヘッダーをクリックして、実行時間の長いテストを特定します。テストの全実行時間を短縮するためのヒントについては、テストパフォーマンスの最適化ガイドを参照してください。
個々のテストのパフォーマンス変化の特定
パフォーマンスカードに表示される上位3つのテスト以外のパフォーマンス変化データを見るには、[Performance change] 列ヘッダーをクリックします。この列ヘッダーは、Enterpriseワークスペースだけに表示されます。変化率をクリックすると、そのテストのパフォーマンスページが表示されます。
レポーティングAPI
Mabl レポーティングAPIを使って、プログラムからテスト結果を取得する方法の詳細については、下記のページを参照してください。
Updated 6 months ago