テスト実行への失敗の理由の追加

mablで失敗したすべてのテストには、失敗の理由を指定することで、テストが失敗した理由や全体的な開発状況を理解するのに役立てられます。

分類されたすべての失敗は、メインダッシュボードから直接報告され、結果ページからエクスポートして、チーム独自のレポートツールで使用できます。結果ページでは、これらの最近の実行を、失敗カテゴリ別や失敗カテゴリがないことでフィルタリングすることもできます。さらに、ダッシュボードチャートの失敗の理由のいずれかをクリックすると、事前にフィルタリングされたそのページに直接移動します。

ユースケースとワークフロー

テストが失敗する理由

多くの部品から構成される複雑なアプリケーションをテストするときは、全体像を把握することが重要です。失敗したテストの理由を自分やチームがマークすればするほど、アプリケーション全体の品質に対する理解が深まります。ダッシュボードでは、すぐ上で選択したどの環境についても、過去30日間の上位の失敗の理由がフィルタリングされて表示されます。テストの実装の問題が原因でほとんどのテストが失敗した場合は、リグレッションテストやスモークテストが、アプリケーションに追加した新機能の影響を受けていないことを確認するために、ブランチ機能を試すことをお勧めします。

さらに、フィルターバーの [DOWNLOAD CSV] ボタンを使用して、[Results] ページからこれらの結果をエクスポートすることもできます。レポートは、設定したアプリケーションや選択したその他のフィルターによってフィルタリングされます。これらのフィルターはセッション間で自動的に保持されるため、ページを離れたら必ずクリアしてください。

このテストをデバッグしたユーザーが他にいるか

mablアプリケーションにログインしてダッシュボードが表示された場合でも、テストの失敗への直接リンクをクリックする場合でも、失敗の理由のフィルターを使用すれば、問題が発生した理由を理解するために費やす時間を短縮できます。

出力ページの表示

失敗したテストの出力ページの右上には、[Select failure reason] ドロップダウンが表示されています。これが表示されていない場合は、おそらく誰かがすでに失敗の理由を設定しています。要素にカーソルを合わせると、誰がいつ最後に要素を変更したかが表示されます。

失敗の理由をまだ誰も設定していない場合は、ここで新しい理由を設定して、後でデバッグを行ったら追跡できるようにします。自分とチームメイトは全員、ここと [Results] ページで失敗の理由を確認できます。その理由で失敗した他のテストを確認するには、[Top failure reasons] ダッシュボードチャートで失敗の理由をクリックするか、[Results] ページの [Failure reason] フィルターを使用します。このページには、これまでに発生したすべての実行が表示されるのではなく、最新の実行が表示されます。

分類されていない失敗を見つける

チームによってまだ分類されていない失敗を簡単に見つけたい場合は、[Results] ページに移動します。上部にある [Failure reason] フィルターで、[Uncategorized] を選択します。これにより、最近のすべてのテスト結果がフィルタリングされ、既存の失敗の理由があるものは除外されます。前述のように、同じフィルターバーの [DOWNLOAD CSV] ボタンを使用して、このテストのリストを簡単にエクスポートすることもできます。これらの結果を1つのアプリケーションに限定するには、ヘッダーのワークスペースアプリケーションフィルターを使用します。

📘

過去のデータがある場所

過去のテストデータにアクセスする最も良い方法は、BigQuery Exportインテグレーションを使用することです。これにより、すべてのテスト実行を1か所からレポートすることができます。このインテグレーションでは、設定した時点からのすべての分類された失敗を表示できます。

失敗の理由の選択方法

失敗の理由の設定

まず、失敗したテストに移動します。ここで、右上の [EDIT STEPS] が表示されている場所を見ると、[Select failure reason] のドロップダウンも表示されています。これをクリックするだけで、失敗の理由を設定できます。

失敗レポートの表示

If this is the first failure that you've categorized, you should see the chart on the dashboard say 100% for whatever reason you chose. Each subsequent test that's categorized will update this chart as long as the test ran within the last 30 days.

🚧

アドホック実行

プランのないテスト実行であるアドホックテスト実行は、失敗の理由で分類できます。ただし、「Top failure reasons」ダッシュボードチャートや「Test run history」チャートからは除外されます。

失敗の理由の削除

失敗の理由を削除する場合は、単にドロップダウンの [X] をクリックします。これにより、既存の失敗カテゴリが削除されます。この操作も編集としてカウントされるため、ドロップダウンにカーソルを合わせると、最後に理由を削除したユーザーが表示されます。

失敗の理由

リグレッション

この失敗の理由は、最近のリリース後にボタンが消えたり、以前は表示されなかったはずの場所にポップアップが表示されたりするなど、テストが失敗する原因となったバグが検出されたことを意味します。

環境の問題

この問題は、テスト環境や開発環境など、環境に固有の事柄が原因となった失敗です。たとえば、開発者の資格情報が無効になったり、環境が突然プライベートになったりするなど、さまざまな問題が考えられます。

ネットワークの問題

ネットワークの問題は、mablがアプリケーションに接続できなかったことが関連している可能性のある失敗です。

テストの実装の問題

これらの失敗は、テストが最初にトレーニングされた方法に関連する失敗です。たとえば、ブランチが新機能のためにマージされていなかったり、ステップが間違った順序で記録されていたり、重要なステップが誤って削除されていたりといったことが考えられます。

タイミングの問題

タイミングの問題は、アプリケーションのパフォーマンスに関連する失敗です。これは、操作する必要のある要素の読み込みが、mablによる操作に間に合わなかった場合に最もよく当てはまります。このような状況では、テストの信頼性を高めるために、Wait Untilステップを使用することをお勧めします。

その他の問題

この問題タイプは、上記のカテゴリに当てはまらないものが対象です。ここに何を分類するかはユーザー次第です。

mablの問題

この問題は、mablがテストを実行する方法に関連していると思われる失敗が対象です。これが実際に影響する場合は、アプリケーション内でmablサポートチームにも連絡することをお勧めします。