mabl がプラン実行を Zephyr に同期するとき、テストサイクルに何を書き込み、何をそのままにするのでしょうか。この記事では、各結果がどこに記録されるか、テスト実行に何が含まれるか、プラン実行を再同期すると何が起きるかについて説明します。インテグレーションの設定方法については、Zephyr インテグレーションをご覧ください。
結果の記録先
mabl は結果を Zephyr のテストサイクルに記録します。結果が Zephyr に表示されるには、mabl のテストが Zephyr のテストケースにリンクされていて、プランの一部として実行される必要があります。インテグレーションの設定に応じて、mabl はプラン実行ごとに新しいテストサイクルを作成するか、すべてのプランの結果をプロジェクトごとに 1 つの既存のテストサイクルに記録します。プランの設定で特定のテストサイクルをプランに割り当てることもでき、その場合、そのプランの結果は割り当てたテストサイクルに記録されます。
使用するテストサイクルが決まると、mabl はそのサイクル内でケースを探します。Not Executed ステータスの行など、チームがそのケースの行を計画している場合、mabl はその行に結果を記録し、行の担当者と、設定されている環境を保持します。以降の実行も同じ行に記録されるため、行の履歴にはすべての実行が一覧表示されます。計画された行がない場合、mabl は新しいテスト実行を追加します。
次の行はそのまま残ります。
- 手動で記録された結果：手動で記録された結果を mabl が変更することはありません。サイクル内のケースに手動の結果しかない場合、mabl はその隣に独自のテスト実行を追加します。
- 新しいケースバージョン：Zephyr でケースの新しいバージョンが作成された場合、チームが新しいバージョンの行を計画していない限り、mabl は古いバージョンの既存の行に引き続き記録し、その行の以前の結果を置き換えます。
テスト実行に含まれる内容
mabl が記録する各テスト実行には、次の内容が含まれます。
- ステータス：実行ステータスで対応付けたステータスです。1 つのケースが複数の mabl のテストにリンクされている場合、失敗したテストが 1 つでもあれば、テスト実行は失敗として記録されます。失敗したテストがなく、成功したテストが 1 つでもあれば、成功として記録されます。すべてのテストがスキップされた場合にのみ、スキップとして記録されます。
- コメント：結果、テスト実行にリンクされた mabl のテスト、プラン実行にリンクされたプランです。1 つのケースを複数の mabl のテストがカバーしている場合、コメントには各テストとその結果が一覧表示されます。失敗の場合、コメントには、テストが失敗したステップとフロー、エラー、自動生成であることが明記された mabl の失敗分析も表示されます。
- スクリーンショット：スクリーンショットをオンにしている場合、失敗したテスト実行には、失敗したテスト実行の最終的なアプリケーションの状態が添付されます。
- タイミング：ケースの最後の実行が終了した日時と、ステータスの元になった実行の所要時間です。
- 環境：mablの環境を記録をオンにしていて名前が一致する場合、Zephyr の環境が記録されます。
記録された各テストケースには、結果の元になった各 mabl のテストへの Web リンクも mabl test: {test name} という名前で追加されるため、Zephyr から mabl のテストを開けます。誰かがこのリンクを削除しても、次回の同期で再び追加されます。
プラン実行を再同期する
再同期するは、プラン実行のテスト実行がまだないケースだけを記録するため、2 回同期してもテスト実行が重複することはありません。既存のテストサイクルでは、古いプラン実行を同期しても、より新しい mabl の結果がすでにある行はそのまま残ります。テストでケースキーを修正した場合は、次のプラン実行で反映されます。