多くの構成要素を持つ複雑なアプリケーションをテストする際は、全体像を把握することが重要です。mablのテスト失敗の理由は、テストの失敗を問題ごとに分類します。これにより、パターンを特定し、アプリケーションの問題をより効率的に解決できるようになります。
テスト失敗の理由は、テスト結果データがすでに存在するあらゆる場所で利用できます。具体的には、結果ページ、カバレッジ概要ダッシュボード、CSVエクスポート、mabl APIのテスト実行の概要、_run_categorization の BigQueryエクスポートテーブルなどです。
テスト失敗の理由の割り当て
テスト失敗の理由を割り当てる方法は2つあります。
- 自動 — mablエージェントがテスト実行を評価し、失敗分析に基づいて適切なテスト失敗の理由を割り当てます。ワークスペースの所有者は、エージェント設定ページ（エージェント > 設定）で自動失敗分類を有効または無効にできます。
- 手動 — ワークスペースのメンバーが、目視での確認に基づいてテスト失敗の理由を割り当てます。自動で割り当てられた理由は、いつでも手動で再分類できます。手動で割り当てたテスト失敗の理由が上書きされることはありません。
テスト失敗の理由の種類
mablは、デフォルトのテスト失敗の理由と、カスタムテスト失敗の理由をサポートしています。
デフォルトのテスト失敗の理由
| テスト失敗の理由 | 説明 |
|---|---|
| リグレッション | 最近のリリース後にボタンが消える、以前は表示されなかったはずのポップアップが表示されるなど、テストが失敗する原因となったバグをmablが検出したことを表します。 |
| 環境の問題 | 開発者のクレデンシャルが無効になる、環境が突然プライベートになるなど、テスト環境、開発環境、その他の環境に固有の事象が原因となった失敗です。 |
| ネットワークの問題 | mablがアプリケーションに接続できなかったことが関連している可能性のある失敗です。 |
| テストの実装の問題 | テストが最初にトレーニングされた方法に関連する失敗です。たとえば、ステップを間違った順序で記録した、重要なステップを誤って削除したなどが原因と考えられます。 |
| タイミングの問題 | ページへの要素の読み込みがmablによる操作に間に合わないなど、アプリケーションのパフォーマンスに関連する失敗です。 |
| アクセシビリティの問題 | テスト実行がアクセシビリティチェックの基準を満たさなかったことを示します。 |
| パフォーマンスの問題 | テスト環境内のパフォーマンスの問題が原因で失敗したテスト、またはテストで定義された失敗基準を満たしたために失敗したパフォーマンステストです。 |
| その他の問題 | 上記のいずれの理由にも当てはまらないものが対象です。 |
| mablの問題 | mablによるテストの実行方法に関連する失敗です。mablの問題が原因でテストが失敗したと考えられる場合は、mablサポートチームへの連絡もお勧めします。 |
カスタムテスト失敗の理由
カスタムテスト失敗の理由を使うと、期限切れのテスト認証情報、サードパーティの障害、古くなったフィクスチャなど、チーム固有の失敗パターンを、「環境の問題」のような大まかなデフォルトに押し込めることなく表現できます。ワークスペースの所有者は、mablアプリの テスト環境設定 > テスト失敗の理由 で管理します。
カスタムテスト失敗の理由には、3つのフィールドがあります。表示名と説明はチームメンバー向けに、エージェントガイドラインはエージェント向けに記述します。
| フィールド | 用途 |
|---|---|
| 表示名（最大100文字） | テスト失敗の理由の選択メニューや実行結果に表示される短いラベルです（例：「サードパーティベンダーの障害」）。エージェントはこれをカテゴリーの名前として読み取ります。 |
| 説明（最大200文字） | 選択メニューに表示される1行の要約です。エージェントはこれを、そのカテゴリーの意味を表す短い説明として読み取ります。 |
| エージェントガイドライン（最大1,000文字） | この理由をいつ割り当てるかをエージェントに伝える指示です。このガイドラインは自動分類を方向づけます。詳しくは、エージェントガイドラインの記述をご覧ください。 |
カスタムテスト失敗の理由を管理する際は、次のことができます。
- 名前を変更する — 表示名はいつでも変更できます。過去の参照も自動的に更新されます。
- 無効にする — 使用をやめる場合は、テスト失敗の理由を無効にします。無効にすると、選択メニューから非表示になり、エージェントによる自動割り当ても停止しますが、すでに分類済みのデータは保持されます。
1つのワークスペースには、最大50個のアクティブなカスタムテスト失敗の理由を作成できます。
mablのデフォルトのテスト失敗の理由は引き続き利用でき、名前の変更や削除はできません。