メインコンテンツへスキップ

テスト実行の概要

Molly Exten
  • 更新

mablでは、テストを実行するタイミングと場所を非常に柔軟にコントロールできます。1つのテストをローカルで実行してその成功を検証することや、各種ブラウザーで何百ものリグレッションテストを並列実行することなどを自在に行うことができます。また、エンドツーエンドのテストですべての環境がカバーされるように、プランの手動での実行、スケジュールに基づいた実行、CI/CDパイプラインのデプロイイベントの一環としての実行を行うことで、継続的テスト戦略を実現できます。

この記事では、mablで使用できる各種テスト実行環境、つまり、クラウド、ローカル、セルフホスト型 (CI Runner) について説明します。

テスト実行環境の比較

mablテスト実行環境の詳細な比較を次の表に示します。

  ローカル CI Runner (CI/CDにセルフホスト) mablクラウド
フィードバック速度: 単一のテスト 最速 より速い 速い
フィードバック速度: 複数のテスト 速い より速い 最速
並列実行 不可 不可 可
スケジューリング 自作で対応可 (bashスクリプト) 自作で対応可 (CIツール) 可
mablでの結果レポート出力 不可 不可 可
テスト診断データ (例: スクリーンショット、HARログ、コンソールログ) 成功/失敗のみ 成功/失敗のみ 可
マルチブラウザーのサポート Chromeのみ Chromeのみ 可
プラン実行のサポート グループ化メカニズムとしてのみ グループ化メカニズムとしてのみ 可
パフォーマンステスト 不可 不可 可
生成AIによるアサーション

CLI - 不可

デスクトップ - 可

 不可 可
インサイト 不可 不可 可
セキュアトンネルが必要 (mabl Link) 不可 不可 可
クレジットの割り当て量の消費対象としてのカウント 不可 不可 可
テスト実行時間制限 不可 不可 ブラウザーテスト: ●●6時間
APIテスト: ●●30分

クラウド実行

クラウドで実行されるテストは、mablの安全性に優れたスケーラブルなインフラストラクチャーで実行されます。クラウドでは個別のテストを実行するか、プランの一部としてテストを実行することができます。クラウド実行のたびに新しいインスタンスが使用されるため、複数の実行をまたいでテストデータ (ユーザーセッションなど) がキャッシュされることはありません。

プラン実行では、次のように、テスト実行に関するさらに詳細な設定を行うことができます。

同時実行の制限

クラウドで同時に並列実行できるテストの最大数は、次の表に示すとおりです。

タイプ トライアルユーザー カスタマー
ブラウザーテスト 10 1000
APIテスト 25 1000

並列テストの最大実行制限を超えてトリガーした場合、残りのテストのステータスは、他のテスト実行が完了するまで [on hold] になります。同時実行数を増やす必要がある場合は、mablサポートチームまでお問い合わせください。

最大実行時間

クラウド実行の最大実行時間は次のとおりです。

  • ブラウザーテスト: 6時間
  • APIテスト: ●●30分

ローカル実行

ブラウザーテスト、APIテスト、モバイルテストの場合は、ローカルでのアドホック実行をトリガーできます。ローカル実行は、単一のテストで迅速なフィードバックを得るための診断ツールとして有効です。ローカル実行には次の特徴があります。

テストのローカル実行では、mablの実行ログと結果は、別々のテスト出力ウィンドウに表示されます。

local_run_output.png

ヘッドレスローカル実行のログ

クラウド実行とは異なり、テストのローカル実行のログは、mablアプリケーションに保持されません。DOMスナップショットやスクリーンショットなどのテストアーティファクトは、ローカル実行から取得されません。

制限事項
  • mablは、ローカルでのアドホックテスト実行のみをサポートします。ローカルでのプラン実行はサポートされません。
  • ローカルブラウザーテストはChromeでのみ実行できます。

セルフホスト型 (CI Runner)

アプリケーションに変更を加える前に、ローカル環境内でmabl CLIを使用してテストを実行し、変更内容を検証できます。テストは、mabl CI Runnerを使用して専用のCI/CDコンテナー (サーバー) 内で実行されます。

ローカル実行と同様に、mabl CI Runnerを使用して実行されるテストには次の特徴があります。

関連記事