メインコンテンツへスキップ

対話型結果分析

Molly Exten
  • 更新

対話型結果分析を使用すると、mablエージェントとチャットして、失敗したテスト、プラン、およびデプロイメントエベントを調査できます。ログ、スクリーンショット、アーティファクトを手動で確認する代わりに、失敗に関する具体的な質問をエージェントに投げかけ、見つかった問題を修正させ、調査結果をカスタムPDFレポートとしてエクスポートして、より広いチームと共有できます。

失敗した実行の分析

失敗分析

失敗した実行の出力を開くと、結果の概要タブに失敗のエージェント分析が自動生成されて表示されます。この静的なハイレベルサマリーは、調査の出発点となります。

失敗したステップのログに直接移動するには、根拠となる証拠セクションの上部にある失敗したステップの一覧を使用します。失敗したステップの横にある View in step details（ステップの詳細で表示）をクリックすると、そのステップのログを確認できます。複数のステップが失敗した場合は、Show N other failed steps（他の失敗したステップを N 件表示）をクリックすると残りのステップが表示されます。

この失敗分析は、mabl API、BigQuery、mabl MCP、および Slack からも利用できます。

プロンプトのガイドライン

mabl アプリのチャットウィンドウ、またはmabl MCPの失敗分析ツールを使って、失敗に関するより具体的な質問を続けることができます。より効果的に活用するために、次のような失敗の特定の側面に焦点を当てた質問をしてみましょう。

  • ステップ10で「カートに追加」ボタンが見つかりませんでした。要素のIDまたはCSSクラスが変更されましたか？この失敗した実行と最後に成功した実行のDOMスナップショットを比較してください。
  • このプランの3つのテストが同じログインステップで失敗しました。それらは同じテスト失敗の理由またはエラーを共有していますか？
  • このプランはなぜ失敗しましたか？失敗したテストとステップレベルのエラーをスクリーンショットとともに表示してください。
  • このプラン実行での失敗のうち、新規のもの（このプランの直近5回の実行で見られなかったもの）と繰り返し発生しているものはどれですか？
  • このデプロイメントを直近3回のデプロイメントと比較してください。失敗率はリグレッションですか？
  • テスト結果に基づいて、このデプロイメントをロールバックすべきですか？理由とともにgo/no-goの判断を示してください。

失敗を調査する過程で、エージェントはサポートエビデンスをまとめて完全な分析を作成します。重要な詳細をチームに共有する必要がある場合は、完全な分析をカスタムPDFレポートとしてエクスポートできます。

結果分析をPDFレポートとしてエクスポートする

エージェントの調査結果に基づいて対応する

結果ページのチャットでは、ワークスペースのダッシュボードのプロンプトと同じ mabl エージェントが動作します。失敗の内容を把握したら、同じ会話の中でエージェントに対応を依頼できます。たとえば、次のような依頼ができます。

  • 失敗したテストを修正する。
  • 見つかった内容から新しいテストを作成する。
  • 修正を確認するためにプランを実行する。

エージェントがテストを編集すると、追加、変更、削除したステップがチャットに表示されます。エージェントが作業している間、ページにとどまる必要はありません。会話はタブを閉じた後も続き、ダッシュボードの Pick up where you left off（中断したところから再開） から会話に戻ることができます。

利用可能なデータ

mablエージェントは、テスト診断と実行詳細の完全なセットにアクセスできます。以下のセクションでは、失敗の種類別に利用可能なデータを示します。

テストの失敗

テストの失敗を調査する際、mablエージェントは以下の情報にアクセスできます。

  • テスト名、説明、ステップ
  • 失敗したステップのテスト出力ログとスクリーンショット
  • 利用可能な場合、直近の成功した実行における同じステップのログとスクリーンショット
  • HARファイル、コンソール出力、および実行で設定されている場合はステップトレース
  • 変数とその値
  • 最大5つの失敗したステップのリクエスト/レスポンスの詳細（APIテスト）
  • リクエスト前処理用スクリプト、リクエスト後処理用スクリプト、およびアサーション（APIテスト）

エージェントはまた、チームが失敗をより迅速に分類できるよう、テスト失敗の理由を提案します。

プランの失敗

プランの失敗を調査する際、エージェントは以下の情報にアクセスできます。

  • プラン名、説明、および設定
  • ステータス、トリガー方法、実行時間などのプラン実行情報
  • ステージとテスト実行の順序付きリスト
  • プラン内の失敗したテストに対する個別のテスト失敗分析とテスト失敗の理由

デプロイメントエベントの失敗

デプロイメントエベントのデータを調査する際、エージェントは以下にアクセスできます。

  • デプロイメントエベントのメタデータ
  • ステータス
  • デプロイメントエベント内の失敗したプランおよびテスト実行に対するすべての失敗分析
  • 比較のための関連デプロイメントエベントの詳細。

制限事項

結果分析は以下には対応していません。

  • ローカル実行およびPlaywright実行（クラウド実行のみ対応）
  • mabl アプリでのパフォーマンステスト実行。パフォーマンステスト実行を分析するには、mabl MCPを通じてmablエージェントに質問してください。
  • デフォルトの「Visit Home Page」およびリンククローラープラン

関連記事