プラン実行オプションの継続的改善の取り組みの一環として、プラン再実行のロジックを更新しました。異なる URL、複数のモバイルデバイス、複数のブラウザ、または複数の DataTable シナリオに対して、1つのテストを複数回実行するプランがあった場合、従来のプラン再実行では、元のテストのすべてのコピーが実行されるようにスケジュールされていました。今回の変更で、プランの再実行では、元のプラン実行で失敗した特定のパラメータの組み合わせでのみテストが再実行されるようになります。
この変更により、プランを再実行する際のテスト実行回数 / クレジット使用量が従来より少なく抑えられるため、テストの問題を診断する際に、より効果的な診断方法としてプランを再実行することができるようになります。
例えば、以下のプラン実行では、ChromeとFirefoxに対して同じテストを実行した上で、[失敗時に自動でリトライする] オプリョン内の [失敗したテストのみリトライする] オプションをを選択して再実行しています。
以前は、Chrome と Firefox の両方でこのテストを再実行していました。今回の変更以降、再実行では失敗した Firefox でのテストのみが再実行されます。
プラン再実行時、元のプラン内の失敗したテスト実行だけを再実行している例
新しいプラン再実行ロジックは以下の場合に適用されます:
- [失敗したテストのみをリトライする] が選択されている場合の、プランの自動再実行
- 手動でのプラン再実行で,[失敗したテストのみをリトライする] または [失敗したテストとスキップしたテストをリトライする] が選択されている場合
この変更は、並列実行の同時実行数には影響しません。プランに同時実行数が設定されている場合、再実行は同時実行数の設定に従って、各新規テスト実行を複数回行います。
mabl のプランの詳細については、こちらを参照してください。