mabl の失敗した実行に対する結果分析に関する 3 つの改善をお知らせします。
- より充実したサポートエビデンス - 結果サマリービューの初期分析に、スクリーンショット、過去のトレンドチャート、ログスニペット、ステップレベルの詳細など、より詳細で構造化されたエビデンスが表示されるようになりました。
- デプロイメント失敗時のエージェントサマリー - デプロイメントが失敗で終了した場合、エージェントはそのデプロイメントによってトリガーされたすべてのプランの実行結果を集約します。これにより、各プランの実行を個別に調査することなく、何が問題だったかを一画面で確認できます。
- API、BigQuery、MCP で利用可能なエビデンスの詳細 - カスタムレポートワークフローで詳細な失敗分析を確認できます。
より充実したサポートエビデンス
これまで、結果サマリービューのサポートエビデンスには、スクリーンショットや実行履歴などの初期アーティファクトが少数表示されるのみでした。今回のアップデートにより、エージェントが初期の失敗分析の一環としてより充実したサポートエビデンスを生成するようになりました。失敗した実行を開いた瞬間に、全体像をページ上で確認できます。
デプロイメント失敗時のエージェント分析
今回のリリースでは、既存のテスト実行およびプラン実行の分析に加え、デプロイメントイベントへの失敗分析が拡張されました。デプロイメントが失敗で終了した場合、エージェントはそのデプロイメントによってトリガーされたすべてのプランの実行結果を集約します。これにより、各プランの実行を個別に調査することなく、何が問題だったかを一画面で確認できます。
API、MCP、BigQuery で利用可能なエビデンスの詳細
保存された分析は、mabl アプリの外部からも利用できるようになりました。
-
レポーティングAPI: テスト実行、プラン実行、デプロイメントイベントのエンドポイントにある
failure_analysisフィールドに、概要およびサマリーに加え、エビデンスのマークダウン全文 (evidence_details) が含まれるようになりました。 -
BigQuery エクスポート: カスタマーの BigQuery データセットに新しい
*_failure_analysisテーブルが追加され、保存された分析をトレンドレポートや複数実行にまたがる分析に活用できるようになりました。 -
mabl MCP:
#analyze_failureツールがエージェントの完全な分析をオンデマンドで返すようになりました。これにより、結果サマリーページと同じ深さで、AI クライアントから特定の失敗を調査できます。
失敗分析は、mabl の生成AI機能が有効になっているワークスペースで利用できます。失敗した実行に分析が表示されない場合は、カスタマーサクセスマネージャーにお問い合わせください。
ぜひご確認ください
mabl アプリで失敗したテスト実行、プラン実行、またはデプロイメントイベントを開き、結果サマリータブに移動してください。エージェント分析により、構造化されたエビデンスがページ上に直接表示されます。会話形式のチャットを使用して、特定のパターンを詳しく調べたり、実行結果を比較したり、カスタム PDF レポートを生成したりできます。
失敗分析を独自のシステムに取り込むには、以下の方法をご利用ください。
-
API:
GET /results/testRun/{test_run_id}、GET /results/planRun/{plan_run_id}、またはGET /execution/result/event/{event_id}に対するクエリーにfailure_analysis.evidence_detailsを追加してください。 -
BigQuery: エクスポートされたデータセット内の新しい
*_failure_analysisテーブルをクエリーしてください。完全なスキーマについては、BigQuery インテグレーションのドキュメントをご参照ください。 -
MCP: AI クライアントに最近の失敗について質問してください（たとえば、「このデプロイメントはなぜ失敗したのですか？」）。クライアントが
#analyze_failureツールを呼び出し、エージェントの調査結果を会話に取り込みます。