テスト実行の概要
mablは、いつ、どこでテストを実行するかについて、非常に柔軟にコントロールすることができます。
mablは、いつ、どこでテストを実行するかについて、非常に柔軟にコントロールすることができます。1つのテストを実行してその成功を検証したり、クロスブラウザで何百ものリグレッションテストを並列実行したり、その選択は自由です。手動でテストを実行したり、スケジュールに沿ってテストを実行したり、CI/CDパイプラインのデプロイメントイベントに合わせてテストを実行したりすることで、継続的なテスト戦略を簡単に導入でき、すべての環境をエンドツーエンドのテストでカバーできます。

mablを活用した継続的テスト
使用例
ここでは、いつ、どのようにテストを実行するかをよりよく理解するために、一般的な使用例を紹介します。
- ローカルマシン上のmabl Trainerでテスト変更を再生し、すべてが期待通りに動作することを検証します。
- ステージング環境に対して、mablクラウドでアドホックなテストを実行し、さまざまなテスト診断のためのデータを利用してトラブルシューティングを行います。
- mabl CLIを使用して、ローカルで開発している開発ブランチに対してヘッドレスモードで複数のテストを実行し、機能変更によって何かが壊れていないか検証します。
- JavaScriptテストフレームワークの一部として、ヘッドレスモードでmablのエンドツーエンドテストを実行し、開発プロセスの可能な限り早い段階で問題を検出します(mabl CI/CD Runner)。
- まだメインブランチやリリースブランチにマージされていないコードをテストするために、mablブランチに保存されたテスト変更を実行します。
- mabl Runnerを使用して、CI/CD環境内でヘッドレスモードでmablテストを実行し、すべてのコード変更に対してエンドツーエンドのテストを迅速に実行します(mabl CI/CD Runner)。
- CI/CDパイプラインでステージング環境やプロダクション環境にデプロイするたびに、mablクラウドでスモークテストやリグレッションテストを実行します。
- プルリクエスト(PR)へのすべてのコードコミットをテストし、テスト結果をGitHubまたはBitBucketのPR内で直接確認できます。
- Internet Explorer 11やSafariなどの複数のブラウザで、ステージング環境に対してすべてのリグレッションテストを一晩で実行するプランをスケジュールできます。
- 本番環境を数時間ごとに監視し、ユーザーエクスペリエンスに問題が発生した場合にアラートを受け取るための、主要なユーザージャーニーを使ったプランをスケジューリングできます。
mabl CI/CD Runnerはプライベートベータの機能です。
mabl CI/CD Runnerは、プライベートベータ版として利用可能です。利用を希望される場合は、こちらから機能アクセスをリクエストしてください。
テストの実行
以下の方法で、パブリックまたはプライベートのテスト環境に対して、mablのテストを実行することができます。
- ローカル - mabl Trainerまたはmabl CLIを使用して自分のマシンでテストを実行
- 自分で構築したCI/CD環境など - mabl CI/CD Runnerを使用して、ご自身のCI/CDコンテナ(サーバー)内でテストを実行
- mablクラウド - 安全性と拡張性に優れたmablのインフラストラクチャでテストを実行し。

mablテスト実行環境
シングルテストの実行
mabl Trainerでテストを作成する際には、変更内容を保存する前に、トレーニングされたステップをコンピュータ上で素早く再生し、すべてが期待通りに動作するかどうかを検証できます。テストを作成したら、mablアプリのテスト詳細ページに移動し、Run testボタンを使ってmablクラウドでアドホックテストを手動で実行できます。
複数のテスト実行
複数のテストをまとめて実行するには、それらを計画に追加したりラベルをつけたりする必要があります。テストラベルは、少数の独立したテストを実行して機能ベースのテストを行う際に使用します。一方、プランでは、テストの実行方法 (並列/逐次、セットアップ/ティアダウンなど) を指定したり、実行をスケジュールしたり、テスト間で変数を受け渡したりできます。また、プランにラベルを付けて、例えばデプロイメントイベントの際に複数のプラン実行をトリガーもできます。
同時テスト実行の制限
下記の表は、さまざまな種類のテストについて、ある時間に同時に実行可能な最大テスト数を示しています。
種類 | トライアルユーザー | お客様 |
---|---|---|
ブラウザテスト - Chrome, Firefox, Edge | 10 | 1000 |
ブラウザテスト - サファリ | 10 | 15 |
ブラウザーテスト - IE | 10 | 50 |
APIテスト | 25 | 1000 |
同時テストの最大実行数を超えるテストを実行した場合、他のテストが 終了するまで、残りのテストは保留状態になります。より高い同時実行数が必要な場合は、mablサポートチームまでご連絡お願いいたします。
最大実行時間
クラウド実行につきましてブラウザー事に最大実行時間は以下となります。
- Chrome、Firefox、Internet Explorer、Edge:6時間
- サファリ: 一時間
- APIテスト :30分
以下に、それぞれのmablテスト実行環境を比較してみましょう。
ローカル環境 | 自分で構築したCI/CD環境など | mablクラウド環境 | |
---|---|---|---|
フィードバックスピード(1テスト実行の場合) | 一番速い | 速い | まあまあ速い(ただし、新しい実行環境への刷新で高速化は進んでいます) |
フィードバックスピード(複数テスト実行の場合) | まあまあ速い | 速い | 一番速い |
並列実行 | できない | できない | できる(上限あり) |
スケジューリング | bashなどを組めば可能 | CIツールの設定などで可能 | できる |
結果レポート出力 | できない(簡易ログのみ) | できない(簡易ログのみ) | スクリーンショットやログなど多彩な情報で作成される |
テスト結果診断 | 成功と失敗のみ判断可能 | 成功と失敗のみ判断可能 | スクリーンショットやログなど多彩な情報で判断可能 |
クロスブラウザテスト | Chromeのみ | Chromeのみ | Safariなど設定可能 |
Plan設定 | ラベルを指定したグルーピングだけ可能 | ラベルを指定したグルーピングだけ可能 | Basic認証設定、ステージ設定、HTTPヘッダ設定など細かい設定が可能 |
Auto-heal実行, visualリグレッション通知, JavaScriptエラー検知など | できない | できない | できる |
mabl Link | 設定できない | 設定できない | 設定可能 |
実行回数としてのカウント | カウントされない | カウントされない(Enterpriseプランでのみ実行可能) | カウントされる |
Updated about 1 month ago