対話型結果分析を使用すると、mablエージェントとチャットして、失敗したテスト、プラン、およびデプロイメントエベントを調査できます。ログ、スクリーンショット、アーティファクトを手動で確認する代わりに、失敗に関する具体的な質問をエージェントに投げかけ、調査結果をカスタムPDFレポートとしてエクスポートして、より広いチームと共有できます。
エージェント分析
失敗した実行の出力を開くと、結果サマリータブに失敗のエージェント分析が自動生成されて表示されます。この静的なハイレベルサマリーは、調査の出発点となります。
プロンプトのガイドライン
チャットウィンドウには、「なぜ失敗したのですか?」などの出発点となるオープンエンドの質問が用意されています。さらに効果的に活用するには、次のように失敗の特定の側面に焦点を当てた質問をしてください。
- ステップ10で「カートに追加」ボタンが見つかりませんでした。要素のIDまたはCSSクラスが変更されましたか?この失敗した実行と最後に成功した実行のDOMスナップショットを比較してください。
- このプランの3つのテストが同じログインステップで失敗しました。それらは同じテスト失敗の理由またはエラーを共有していますか?
- このプランはなぜ失敗しましたか?失敗したテストとステップレベルのエラーをスクリーンショットとともに表示してください。
- このプラン実行での失敗のうち、新規のもの(このプランの直近5回の実行で見られなかったもの)と繰り返し発生しているものはどれですか?
- このデプロイメントを直近3回のデプロイメントと比較してください。失敗率はリグレッションですか?
- テスト結果に基づいて、このデプロイメントをロールバックすべきですか?理由とともにgo/no-goの判断を示してください。
失敗を調査する過程で、エージェントはサポートエビデンスをまとめて完全な分析を作成します。重要な詳細をチームに共有する必要がある場合は、完全な分析をカスタムPDFレポートとしてエクスポートできます。
利用可能なデータ
mablエージェントは、テスト診断と実行詳細の完全なセットにアクセスできます。以下のセクションでは、失敗の種類別に利用可能なデータを示します。
テストの失敗
テストの失敗を調査する際、mablエージェントは以下の情報にアクセスできます。
- テスト名、説明、ステップ
- 失敗したステップのテスト出力ログとスクリーンショット
- 利用可能な場合、直近の成功した実行における同じステップのログとスクリーンショット
- Chromeトレース、HARファイル、およびコンソール出力
- 変数とその値
- 最大5つの失敗したステップのリクエスト/レスポンスの詳細(APIテスト)
- リクエスト前処理用スクリプト、リクエスト後処理用スクリプト、およびアサーション(APIテスト)
エージェントはまた、チームが失敗をより迅速に分類できるよう、テスト失敗の理由を提案します。
プランの失敗
プランの失敗を調査する際、エージェントは以下の情報にアクセスできます。
- プラン名、説明、および設定
- ステータス、トリガー方法、実行時間などのプラン実行情報
- ステージとテスト実行の順序付きリスト
- プラン内の失敗したテストに対する個別のテスト失敗分析とテスト失敗の理由
デプロイメントエベントの失敗
デプロイメントエベントのデータを調査する際、エージェントは以下にアクセスできます。
- デプロイメントエベントのメタデータ
- ステータス
- デプロイメントエベント内の失敗したプランおよびテスト実行に対するすべての失敗分析
- 比較のための関連デプロイメントエベントの詳細。
制限事項
結果分析は以下には対応していません。
- ローカル実行およびPlaywright実行(クラウド実行のみ対応)
- パフォーマンステストの失敗
- デフォルトの「Visit Home Page」およびリンククローラープラン