mablは、テストを実行するタイミングと場所に関して大きな柔軟性と制御を提供します。単一のテストをローカルで実行して成功を確認することから、複数のブラウザで並行して数百の回帰テストを実行することまで、選択はあなた次第です。この記事では、mablで使用できる各種テスト実行環境、つまり、ローカル、セルフホスト型 - CI Runner、およびクラウドについて説明します。
継続的テストワークフローでさまざまな実行環境を活用する方法について詳しくは、ローカル、CI、クラウド実行によるテスト実行の最適化に関する記事をご覧ください。
テスト実行環境の比較
mablテスト実行環境の詳細な比較を次の表に示します。
ローカル | CI Runner (CI/CDにセルフホスト) | mablクラウド | |
mablでの結果レポート出力 | 不可 | 不可 | 可 |
テスト診断データ (例: スクリーンショット、HARログ、コンソールログ) | 成功/失敗のみ | 成功/失敗のみ | 可 |
並列実行 | 不可 | 不可 | 可 |
プラン実行のサポート | グループ化メカニズムとしてのみ | グループ化メカニズムとしてのみ | 可 |
スケジューリング | 自作で対応可 (bashスクリプト) | 自作で対応可 (CIツール) | 可 |
クロスブラウザ検証 | いいえ - Chromeのみ | いいえ - Chromeのみ | 可 |
クレジットの割り当て量の消費対象としてのカウント | 不可 | 不可 | 可 |
フィードバック速度: 単一のテスト | 最速 | より速い | 速い |
フィードバック速度: 複数のテスト | 速い | より速い | 最速 |
プライベート環境にアクセスするには、LinkまたはIPアドレスのホワイトリスト登録が必要です | 不可 | 不可 | 可 |
テスト実行時間制限 | 不可 | 不可 |
ブラウザーテスト: ●●6時間 APIテスト: ●●30分 モバイル - 1時間 |
パフォーマンステスト | 不可 | 不可 | 可 |
生成AIによるアサーション |
CLI - 不可 デスクトップ - 可 |
不可 | 可 |
インサイト | 不可 | 不可 | 可 |
ローカル実行
mablは、Desktop Appまたはmabl CLIを使用して、ローカルマシンでテストを実行するトリガーをサポートしています。ローカル実行は、テストを作成したり課題をデバッグしたりする際にフィードバックを得るための迅速な診断ツールとして最適です。
テストのローカル実行では、mablの実行ログと結果は、別々のテスト出力ウィンドウに表示されます。
ヘッドレスローカル実行のログ
クラウド実行とは異なり、テストのローカル実行のログは、mablアプリケーションに保持されません。DOMスナップショットやスクリーンショットなどのテストアーティファクトは、ローカル実行から取得されません。
ローカル実行の制限事項
セルフホスト型 (CI Runner)
mabl CLIを使用して、CI Runnerを設定し、専用のCI/CDコンテナー (サーバー) 内でテストを実行できます。CI実行は、スモークテストやサニティテストのような軽量でターゲットを絞ったテストに理想的で、共有環境へのデプロイ前に迅速な成功/失敗の結果を求める場合に適しています。
CI/CDパイプラインでCLIコマンドを直接使用することで、環境を設定し、テストラベルを活用して、コア機能を対象としたテストの検証を自動化できます。
CI実行の制限事項
クラウド実行
クラウドで実行されるテストは、mablの安全性に優れたスケーラブルなインフラストラクチャーで実行されます。クラウド実行では、次の種類の実行がサポートされています。
- アドホック実行
- プランの実行 - 並列または順次でプランを実行し、スケジュールされた実行とテスト間での変数の共有をサポート
- デプロイメントエベント - mabl CLI、mabl API、または既存のCI/CDインテグレーションを使用して、デプロイメントエベントで複数のプランを実行します
クラウド実行のたびに新しいインスタンスが使用されるため、複数の実行をまたいでテストデータ (ユーザーセッションなど) がキャッシュされることはありません。
クラウド実行は、アプリの結果セクションで詳細なテスト実行アーティファクトを収集します。レポーティングAPIを使用して、クラウド実行結果をチームの好みのレポートツールに統合できます。テストタイプ別のクラウド実行アーティファクトに関する詳細情報は、以下の記事をご覧ください。
同時実行の制限
クラウドで同時に並列実行できるテストの最大数は、次の表に示すとおりです。
タイプ | トライアルユーザー | カスタマー |
ブラウザーテスト | 10回の実行 | 1000回の実行 |
モバイルテスト |
5回のAndroid実行 3 iOS実行 |
10回のAndroid実行 5回のiOS実行 |
APIテスト | 25回の実行 | 1000回の実行 |
並列テストの最大実行制限を超えてトリガーした場合、残りのテストのステータスは、他のテスト実行が完了するまで [on hold] になります。同時実行数を増やす必要がある場合は、mablサポートチームまでお問い合わせください。
最大実行時間
クラウド実行の最大実行時間は次のとおりです。
- ブラウザーテスト: 6時間
- APIテスト: ●●30分
- モバイルテスト: ●●1時間