リリースカバレッジのFAQ

累積テスト実行

分母 (テストの合計数) はどのようにして計算されているのですか?

分母は、ワークスペース内のアクティブなすべてのテスト (「オフ」になっていないテスト) の数です。フィルターを設定すると、フィルターに一致するテストのみがカウントされるよう分母が変わるので、関心のあるアプリケーションの機能に関連するカバレッジを確認することができます。

以下の例では、ワークスペース内に100個のアクティブなテストが存在すると仮定します。これらのテストのうちの20個には、「checkout」というテストラベルが付いています。

• フィルターの設定なし = 総数100個のテストをカウント (分母 = 100)
• テストラベルフィルターを「checkout」に設定 = 総数20個のテストをカウント (分母 = 20)
• 開始/終了時刻のみを設定 = 総数100個のテストをカウント (分母 = 100)
• 環境のみを設定 = 総数100個のテストをカウント (分母 = 100)

分子の数 (テスト実行の合計数) はどのようにして計算されているのですか?

この値は、一意のテスト実行の累積数です。テストが「テストの合計数」(分母) にカウントされるものである場合、クラウドでテストが実行されると、設定したフィルターに一致するテストであれば、そのテスト実行は一意のテスト実行にカウントされます。
選択するフィルターによっては、次のような例外があります。

1. 「環境」にフィルターを設定した場合、指定した環境のテスト実行のみがカウントされます。
2. Date range(期間)フィルターを設定した場合、指定した期間中 (最大60日) のテスト実行のみがカウントされます。

パフォーマンスデータ

パフォーマンスカードにはどのテストが含まれますか?

パフォーマンスデータに含まれるのは、プラン実行の一部である完了したテスト実行だけです。テストがパフォーマンスカードに表示されるためには、以下の条件も満たしている必要があります。

1. [最小実行数:] テストは、計測期間の前半で3回以上、後半で3回以上実行されている必要があります。
2. [フィルター設定との一致:] パフォーマンスカードに含まれるためには、テストはリリースカバレッジページで設定されたフィルターに一致している必要があります。
3. [パフォーマンス悪化のトレンド:] 計測期間の前半よりも後半のほうがアプリケーション読み込み時間 (ブラウザテスト) またはAPIレスポンスタイム (APIテスト) が長くなっているテストだけが、パフォーマンスカードに含まれます。

パフォーマンスはどのように測定されますか?

パフォーマンスカードとテストステータスの表に示される変化率は、指定した期間中、期間後半の実行と期間前半の実行とを比較した変化を表します。

• ブラウザテストの場合、ブラウザテスト実行時のアプリケーション読み込み時間の合計がパフォーマンス指標として使用されます。
• APIテストの場合、APIテスト実行のAPIレスポンスタイムの合計がパフォーマンス指標として使用されます。

たとえば、指定した期間が「過去60日」の場合、パフォーマンスウィジェットには、後半 (31～60日目) のアプリケーション読み込み時間の合計を前半 (1～30日目)の合計と比較した変化率が表示されます。

アプリケーション読み込み時間の合計とは何ですか?

アプリケーション読み込み時間の合計とは、テストのすべてのステップのスピードインデックスの和です。アプリケーション読み込み時間の合計を使用すれば、エンドユーザーがアプリケーションの読み込みを待つ間に実際に体験する待ち時間の合計を測定できます。mablによるテスト実行にかかる時間は含まれません。

APIレスポンスタイムの合計とは何ですか?

APIレスポンスタイムの合計は、テスト内のすべてのリクエストのAPIレスポンスタイムの和を測定するもので、リクエストの間の時間などの時間は含まれません。

リリースカバレッジページにパフォーマンスデータが表示されないのはなぜですか?

パフォーマンスデータにアクセスできるのは、トライアルユーザーとEnterpriseプランのお客様だけです。アップグレード方法についてはmablカスタマーサクセスマネージャまでお問い合わせください。