失敗の理由

多くの要素で構成される複雑なアプリケーションをテストするときは、全体像を把握することが重要です。mablでは、失敗したテスト実行に失敗の理由を追加して、チームがテストの失敗の理由と全体的な開発状況を理解するのに役立てることができます。

この記事では、失敗の理由のユースケースと、テスト実行に失敗の理由を追加する方法について説明します。

📘

過去のテストデータの表示

過去のテストデータにアクセスする最も良い方法は、BigQueryエクスポートインテグレーションを使用することです。これにより、すべてのテスト実行を1か所からレポートすることができます。このインテグレーションでは、設定した時点以降のすべての分類された失敗を表示することもできます。

ユースケース

失敗したテスト実行への失敗の理由を追加するユースケース

アプリケーション全体の品質の理解

失敗したテストの理由を自分やチームがマークすればするほど、アプリケーション全体の品質に対する理解が深まります。失敗の理由は、mablホームページのダッシュボードとリリースカバレッジダッシュボードで報告されます。

たとえば、失敗したテストの大部分がテストの実装の問題に分類されている場合は、ブランチを実行して、リグレッションテストやスモークテストが、アプリケーションに追加した新しい機能の影響を受けていないことを確認することをお勧めします。

📘

アドホック実行

プランのないテスト実行であるアドホックテスト実行は、失敗の理由で分類できます。ただし、「Top failure reasons」ダッシュボードチャートや「Test run history」チャートからは除外されます。

最近失敗した実行のフィルタリング

結果ページでは、失敗カテゴリー別に最近の実行をフィルタリングし、フィルターの上にある[Download CSV]ボタンを使用して、それらの結果をエクスポートすることができます。

確認時の時間の節約

失敗した実行に失敗の理由を追加しておくと、問題が発生した理由を理解するためにチームメンバーが費やす時間を少なくすることができます。

チームの誰かがテストに失敗の理由を追加した場合、テスト出力ページの失敗の理由にマウスを合わせると、誰がいつ失敗の理由を変更したかを確認できます。

まだチームが分類していないテストの失敗を確認するには、結果ページに移動して、[Failure reason] フィルターを [Uncategorized] に設定します。

失敗の理由を追加する方法

失敗したテスト実行のテスト出力ページで、[Add failure reason]ドロップダウンをクリックします。失敗の理由には、次のようなものがあります。

リグレッション

この失敗の理由は、最近のリリース後にボタンが消えたり、以前は表示されなかったはずの場所にポップアップが表示されたりするなど、テストが失敗する原因となったバグが検出されたことを意味します。

環境の問題

環境の問題は、開発者のクレデンシャルが無効になる、環境が突然プライベートになるなど、テスト環境、開発環境、その他の環境に固有の事象が原因となった失敗です。

ネットワークの問題

ネットワークの問題は、mablがアプリケーションに接続できなかったことが関連している可能性のある失敗です。

テストの実装の問題

テストの実装の問題は、テストが最初にトレーニングされた方法に関連する失敗です。たとえば、テストの実装の問題で失敗したテストは、ステップが間違った順序で記録されていたことや、重要なステップが誤って削除されていたことが原因と考えられます。

タイミングの問題

タイミングの問題は、ページへの要素の読み込みがmablによる操作に間に合わなかったなど、アプリケーションのパフォーマンスに関連した失敗です。このような状況では、テストの信頼性を高めるために、wait untilステップを使用することをお勧めします。

その他の問題

この失敗の理由は、上記のカテゴリーに当てはまらないものが対象です。

mablの問題

この失敗の理由は、mablによるテストの実行方法に関連していると考えられる失敗が対象です。mablの問題が原因でテストが失敗したと考えられる場合は、mablサポートチームに連絡することもお勧めします。

失敗の理由の削除

失敗の理由を削除するには、ドロップダウンの [X]をクリックします。失敗の理由の削除は編集としてカウントされるため、ドロップダウンにカーソルを合わせると、最後に理由を削除したユーザーを確認することができます。