テスト実行の概要

mablでテストを実行する方法

mablでは、テストを実行するタイミングと場所を非常に柔軟にコントロールできます。1つのテストをローカルで実行してその成功を検証することや、各種ブラウザーで何百ものリグレッションテストを並列実行することなどを自在に行うことができます。また、エンドツーエンドのテストですべての環境がカバーされるように、プランの手動での実行、スケジュールに基づいた実行、CI/CDパイプラインのデプロイイベントでの実行を行うことで、継続的テスト戦略を実現できます。

mablでの継続的テスト

mablでの継続的テスト

どのような場合にテストを実行するかがよく理解できるように、一般的なユースケースを以下に示します。

  1. 個別のテストを実行し、すばやくフィードバックを得て検証を行う

  2. プラン実行またはデプロイイベントで複数のテストを実行し、新しいコードをアプリケーションに追加する前に機能が期待どおりに動作することを検証する

  3. テストをCI/CDワークフローに組み込んで、開発プロセスのできるだけ早い段階で問題を特定する

  4. スケジュールに基づいて実行するようにスモークテストやリグレッションテストをセットアップして、すべてが引き続き期待どおりに機能していることを確認する

  5. ローカル環境内でmabl CLIでテストを実行し、アプリケーションに変更を加える前に変更内容を検証する

ローカル、クラウド、またはセルフホスト型のCI/CD環境で、パブリックまたはプライベートのテスト環境に対してmablテストを実行できます。

ローカル実行

ローカル実行はユーザーのマシンのローカルで実行され、テストの毎月の割り当て量には加算されません。

👍

迅速なフィードバック

ローカルでのテスト実行は、単一のテストで迅速なフィードバックを得るための診断ツールとして有効です。

クラウド実行

クラウドで実行されるテストは、mablの安全性に優れたスケーラブルなインフラストラクチャーで実行されます。クラウドでは個別のテストを実行するか、プランの一部としてテストを実行することができます。

プラン実行

プラン実行では、次のように、テスト実行に関するさらに詳細な設定を行うことができます。

同時実行の制限

各種テストで一度に並列実行できるテストの最大数は、次の表に示すとおりです。

タイプトライアルユーザーカスタマー
ブラウザーテスト101000
APIテスト251000

並列テストの最大実行制限を超えてトリガーした場合、残りのテストのステータスは、他のテスト実行が完了するまでon hold]になります。同時実行数を増やす必要がある場合は、mablサポートチームまでお問い合わせください。

最大実行時間

クラウド実行の最大実行時間は次のとおりです。

  • ブラウザーテスト: 6時間

  • APIテスト: 30分

📘

クラウドでのブラウザーテスト

クラウドでブラウザーテストを実行する場合は、次の点に留意してください。

  • クラウド実行のたびに新しいインスタンスが使用されるため、複数の実行をまたいでテストデータ (ユーザーセッションなど) がキャッシュされることはありません。
  • クラウド実行のタイムゾーンはUTCです。

セルフホスト型 - CI Runner

テストは、mabl CI Runnerを使用して専用のCI/CDコンテナー(サーバー) 内で実行されます。

テスト実行環境の比較

mablテスト実行環境の詳細な比較を次の表に示します。

ローカルCI Runner (CI/CDにセルフホスト)mablクラウド
フィードバック速度: 単一のテスト最速より速い速い
フィードバック速度: 複数のテスト速いより速い最速
並列実行不可不可
スケジューリング自作で対応可 (bashスクリプト)自作で対応可 (CIツール)
mablでの結果レポート出力不可不可
テスト診断データ (例: スクリーンショット、HARログ、コンソールログ)成功/失敗のみ成功/失敗のみ
マルチブラウザーのサポートChromeのみChromeのみ
プラン実行のサポートグループ化メカニズムとしてのみグループ化メカニズムとしてのみ
インサイト不可不可
セキュアトンネルが必要 (mabl Link)不可不可
毎月のテスト実行数への加算不可不可
テスト実行時間制限不可不可ブラウザーテスト: 6時間
APIテスト: 30分