失敗の理由 – mablヘルプ

多くの要素を持つ複雑なアプリケーションをテストする際は、全体像を把握することが大切です。mabl では、失敗したテスト実行にテスト失敗の理由を追加できます。これにより、チームがテストが失敗した理由や開発全体の状況を把握しやすくなります。

失敗したテスト実行への失敗の理由の追加

mablは、ホームページとカバレッジ概要ダッシュボードでテスト失敗の理由を集約します。あなたやチームが失敗したテストに理由を付けるほど、アプリケーション全体の品質をより把握できるようになります。テスト失敗の理由を追加する主な用途は次のとおりです。

失敗した実行のフィルタリング：結果ページで、最近の実行を失敗カテゴリごとにフィルタリングし、フィルターの上にあるCSVをダウンロードボタンからこれらの結果をエクスポートできます。
レビュー時間の節約：失敗したテスト実行に失敗の理由を追加すると、チームメンバーが問題の原因を理解するのに費やす時間を減らすことができます。

この記事では、テスト実行に追加できるさまざまなテスト失敗の理由の種類について説明します。

過去のテストデータの表示

過去のテストデータにアクセスする最も良い方法は、BigQueryエクスポートインテグレーションを使用することです。これにより、すべてのテスト実行を1か所からレポートすることができます。このインテグレーションでは、設定した時点以降のすべての分類された失敗を表示することもできます。

リグレッション

この失敗の理由は、最近のリリース後にボタンが消えたり、以前は表示されなかったはずの場所にポップアップが表示されたりするなど、テストが失敗する原因となったバグが検出されたことを意味します。

環境の問題は、開発者のクレデンシャルが無効になる、環境が突然プライベートになるなど、テスト環境、開発環境、その他の環境に固有の事象が原因となった失敗です。

ネットワークの問題は、mablがアプリケーションに接続できなかったことが関連している可能性のある失敗です。

テストの実装の問題は、テストが最初にトレーニングされた方法に関連する失敗です。たとえば、テストの実装の問題で失敗したテストは、ステップが間違った順序で記録されていたことや、重要なステップが誤って削除されていたことが原因と考えられます。

タイミングの問題は、ページへの要素の読み込みがmablによる操作に間に合わなかったなど、アプリケーションのパフォーマンスに関連した失敗です。このような状況では、テストの信頼性を高めるために、wait untilステップを使用することをお勧めします。

アクセシビリティの問題は、テストがアクセシビリティチェックの基準を満たしていないことを示します。

パフォーマンスの問題は、テスト環境内のパフォーマンスの問題が原因で失敗したテスト、またはテストで定義された失敗基準を満たしていることが原因で失敗したパフォーマンステストを表します。

この失敗の理由は、上記のカテゴリーに当てはまらないものが対象です。

この失敗の理由は、mablによるテストの実行方法に関連していると考えられる失敗が対象です。mablの問題が原因でテストが失敗したと考えられる場合は、mablサポートチームに連絡することもお勧めします。