テスト実行の概要

mablでは、テストを実行するタイミングと場所を非常に柔軟にコントロールできます。1つのテストをローカルで実行してその成功を検証することや、各種ブラウザーで何百ものリグレッションテストを並列実行することなどを自在に行うことができます。また、エンドツーエンドのテストですべての環境がカバーされるように、プランの手動での実行、スケジュールに基づいた実行、CI/CDパイプラインのデプロイイベントでの実行を行うことで、継続的テスト戦略を実現できます。

どのような場合にテストを実行するかがよく理解できるように、一般的なユースケースを以下に示します。

1. 個別のテストを実行し、すばやくフィードバックを得て検証を行う

2. プラン実行またはデプロイイベントで複数のテストを実行し、新しいコードをアプリケーションに追加する前に機能が期待どおりに動作することを検証する

3. テストをCI/CDワークフローに組み込んで、開発プロセスのできるだけ早い段階で問題を特定する

4. スケジュールに基づいて実行するようにスモークテストやリグレッションテストをセットアップして、すべてが引き続き期待どおりに機能していることを確認する

5. ローカル環境内でmabl CLIでテストを実行し、アプリケーションに変更を加える前に変更内容を検証する

ローカル、クラウド、またはセルフホスト型のCI/CD環境で、パブリックまたはプライベートのテスト環境に対してmablテストを実行できます。

ローカル実行

ローカル実行はユーザーのマシンのローカルで実行され、テストの毎月の割り当て量には加算されません。

👍

迅速なフィードバック

ローカルでのテスト実行は、単一のテストで迅速なフィードバックを得るための診断ツールとして有効です。

クラウド実行

クラウドで実行されるテストは、mablの安全性に優れたスケーラブルなインフラストラクチャーで実行されます。クラウドでは個別のテストを実行するか、プランの一部としてテストを実行することができます。

プラン実行

プラン実行では、次のように、テスト実行に関するさらに詳細な設定を行うことができます。

• 並列実行または逐次実行

• ステージ(例: セットアップ - テスト - 破棄)

• スケジュールによる実行

• 変数の共有

• APIによるテストのトリガー

• CI/CDワークフローへの統合

同時実行の制限

各種テストで一度に並列実行できるテストの最大数は、次の表に示すとおりです。

並列テストの最大実行制限を超えてトリガーした場合、残りのテストのステータスは、他のテスト実行が完了するまでon hold]になります。同時実行数を増やす必要がある場合は、mablサポートチームまでお問い合わせください。

最大実行時間

クラウド実行の最大実行時間は次のとおりです。

• ブラウザーテスト: 6時間

• APIテスト: 30分

📘

クラウドでのブラウザーテスト

クラウドでブラウザーテストを実行する場合は、次の点に留意してください。

• クラウド実行のたびに新しいインスタンスが使用されるため、複数の実行をまたいでテストデータ (ユーザーセッションなど) がキャッシュされることはありません。
• クラウド実行のタイムゾーンはUTCです。

セルフホスト型 - CI Runner

テストは、mabl CI Runnerを使用して専用のCI/CDコンテナー(サーバー) 内で実行されます。

テスト実行環境の比較

mablテスト実行環境の詳細な比較を次の表に示します。