テスト実行の概要
mablでテストを実行する方法
mablでは、テストを実行するタイミングと場所を非常に柔軟にコントロールできます。1つのテストをローカルで実行してその成功を検証することや、各種ブラウザーで何百ものリグレッションテストを並列実行することなどを自在に行うことができます。また、エンドツーエンドのテストですべての環境がカバーされるように、プランの手動での実行、スケジュールに基づいた実行、CI/CDパイプラインのデプロイイベントでの実行を行うことで、継続的テスト戦略を実現できます。

mablでの継続的テスト
どのような場合にテストを実行するかがよく理解できるように、一般的なユースケースを以下に示します。
-
個別のテストを実行し、すばやくフィードバックを得て検証を行う
-
プラン実行またはデプロイイベントで複数のテストを実行し、新しいコードをアプリケーションに追加する前に機能が期待どおりに動作することを検証する
-
テストをCI/CDワークフローに組み込んで、開発プロセスのできるだけ早い段階で問題を特定する
-
スケジュールに基づいて実行するようにスモークテストやリグレッションテストをセットアップして、すべてが引き続き期待どおりに機能していることを確認する
-
ローカル環境内でmabl CLIでテストを実行し、アプリケーションに変更を加える前に変更内容を検証する
ローカル、クラウド、またはセルフホスト型のCI/CD環境で、パブリックまたはプライベートのテスト環境に対してmablテストを実行できます。
ローカル実行
ローカル実行はユーザーのマシンのローカルで実行され、テストの毎月の割り当て量には加算されません。
迅速なフィードバック
ローカルでのテスト実行は、単一のテストで迅速なフィードバックを得るための診断ツールとして有効です。
クラウド実行
クラウドで実行されるテストは、mablの安全性に優れたスケーラブルなインフラストラクチャーで実行されます。クラウドでは個別のテストを実行するか、プランの一部としてテストを実行することができます。
プラン実行
プラン実行では、次のように、テスト実行に関するさらに詳細な設定を行うことができます。
-
ステージ(例: セットアップ - テスト - 破棄)
同時実行の制限
各種テストで一度に並列実行できるテストの最大数は、次の表に示すとおりです。
タイプ | トライアルユーザー | カスタマー |
---|---|---|
ブラウザーテスト | 10 | 1000 |
APIテスト | 25 | 1000 |
並列テストの最大実行制限を超えてトリガーした場合、残りのテストのステータスは、他のテスト実行が完了するまでon hold]になります。同時実行数を増やす必要がある場合は、mablサポートチームまでお問い合わせください。
最大実行時間
クラウド実行の最大実行時間は次のとおりです。
-
ブラウザーテスト: 6時間
-
APIテスト: 30分
クラウドでのブラウザーテスト
クラウドでブラウザーテストを実行する場合は、次の点に留意してください。
- クラウド実行のたびに新しいインスタンスが使用されるため、複数の実行をまたいでテストデータ (ユーザーセッションなど) がキャッシュされることはありません。
- クラウド実行のタイムゾーンはUTCです。
セルフホスト型 - CI Runner
テストは、mabl CI Runnerを使用して専用のCI/CDコンテナー(サーバー) 内で実行されます。
テスト実行環境の比較
mablテスト実行環境の詳細な比較を次の表に示します。
ローカル | CI Runner (CI/CDにセルフホスト) | mablクラウド | |
---|---|---|---|
フィードバック速度: 単一のテスト | 最速 | より速い | 速い |
フィードバック速度: 複数のテスト | 速い | より速い | 最速 |
並列実行 | 不可 | 不可 | 可 |
スケジューリング | 自作で対応可 (bashスクリプト) | 自作で対応可 (CIツール) | 可 |
mablでの結果レポート出力 | 不可 | 不可 | 可 |
テスト診断データ (例: スクリーンショット、HARログ、コンソールログ) | 成功/失敗のみ | 成功/失敗のみ | 可 |
マルチブラウザーのサポート | Chromeのみ | Chromeのみ | 可 |
プラン実行のサポート | グループ化メカニズムとしてのみ | グループ化メカニズムとしてのみ | 可 |
インサイト | 不可 | 不可 | 可 |
セキュアトンネルが必要 (mabl Link) | 不可 | 不可 | 可 |
毎月のテスト実行数への加算 | 不可 | 不可 | 可 |
テスト実行時間制限 | 不可 | 不可 | ブラウザーテスト: 6時間 APIテスト: 30分 |
Updated 8 days ago