テスト実行の概要

mablは、いつ、どこでテストを実行するかについて、非常に柔軟にコントロールすることができます。

mablは、いつ、どこでテストを実行するかについて、非常に柔軟にコントロールすることができます。1つのテストを実行してその成功を検証したり、クロスブラウザで何百ものリグレッションテストを並列実行したり、その選択は自由です。手動でテストを実行したり、スケジュールに沿ってテストを実行したり、CI/CDパイプラインのデプロイメントイベントに合わせてテストを実行したりすることで、継続的なテスト戦略を簡単に導入でき、すべての環境をエンドツーエンドのテストでカバーできます。

16371637

mablを活用した継続的テスト

使用例

ここでは、いつ、どのようにテストを実行するかをよりよく理解するために、一般的な使用例を紹介します。

  • ローカルマシン上のmabl Trainerでテスト変更を再生し、すべてが期待通りに動作することを検証します。
  • ステージング環境に対して、mablクラウドでアドホックなテストを実行し、さまざまなテスト診断のためのデータを利用してトラブルシューティングを行います。
  • mabl CLIを使用して、ローカルで開発している開発ブランチに対してヘッドレスモードで複数のテストを実行し、機能変更によって何かが壊れていないか検証します。
  • JavaScriptテストフレームワークの一部として、ヘッドレスモードでmablのエンドツーエンドテストを実行し、開発プロセスの可能な限り早い段階で問題を検出します(mabl CI/CD Runner)。
  • まだメインブランチやリリースブランチにマージされていないコードをテストするために、mablブランチに保存されたテスト変更を実行します。
  • mabl Runnerを使用して、CI/CD環境内でヘッドレスモードでmablテストを実行し、すべてのコード変更に対してエンドツーエンドのテストを迅速に実行します(mabl CI/CD Runner)。
  • CI/CDパイプラインでステージング環境やプロダクション環境にデプロイするたびに、mablクラウドでスモークテストやリグレッションテストを実行します。
  • プルリクエスト(PR)へのすべてのコードコミットをテストし、テスト結果をGitHubまたはBitBucketのPR内で直接確認できます。
  • Internet Explorer 11やSafariなどの複数のブラウザで、ステージング環境に対してすべてのリグレッションテストを一晩で実行するプランをスケジュールできます。
  • 本番環境を数時間ごとに監視し、ユーザーエクスペリエンスに問題が発生した場合にアラートを受け取るための、主要なユーザージャーニーを使ったプランをスケジューリングできます。

📘

mabl CI/CD Runnerはプライベートベータの機能です。

mabl CI/CD Runnerは、プライベートベータ版として利用可能です。利用を希望される場合は、こちらから機能アクセスをリクエストしてください。

テストの実行

以下の方法で、パブリックまたはプライベートのテスト環境に対して、mablのテストを実行することができます。

  • ローカル - mabl Trainerまたはmabl CLIを使用して自分のマシンでテストを実行
  • 自分で構築したCI/CD環境など - mabl CI/CD Runnerを使用して、ご自身のCI/CDコンテナ(サーバー)内でテストを実行
  • mablクラウド - 安全性と拡張性に優れたmablのインフラストラクチャでテストを実行し、並列実行の制限はありません。
932932

mablテスト実行環境

シングルテストの実行

mabl Trainerでテストを作成する際には、変更内容を保存する前に、トレーニングされたステップをコンピュータ上で素早く再生し、すべてが期待通りに動作するかどうかを検証できます。テストを作成したら、mablアプリのテスト詳細ページに移動し、Run testボタンを使ってmablクラウドでアドホックテストを手動で実行できます。

複数のテスト実行

複数のテストをまとめて実行するには、それらを計画に追加したりラベルをつけたりする必要があります。テストラベルは、少数の独立したテストを実行して機能ベースのテストを行う際に使用します。一方、プランでは、テストの実行方法 (並列/逐次、セットアップ/ティアダウンなど) を指定したり、実行をスケジュールしたり、テスト間で変数を受け渡したりできます。また、プランにラベルを付けて、例えばデプロイメントイベントの際に複数のプラン実行をトリガーもできます。

以下に、それぞれのmablテスト実行環境を比較してみましょう。

ローカル環境

自分で構築したCI/CD環境など

mablクラウド環境

フィードバックスピード(1テスト実行の場合)

一番速い

速い

まあまあ速い(ただし、新しい実行環境への刷新で高速化は進んでいます)

フィードバックスピード(複数テスト実行の場合)

まあまあ速い

速い

一番速い

並列実行

できない

できない

できる(上限あり)

スケジューリング

bashなどを組めば可能

CIツールの設定などで可能

できる

結果レポート出力

できない(簡易ログのみ)

できない(簡易ログのみ)

スクリーンショットやログなど多彩な情報で作成される

テスト結果診断

成功と失敗のみ判断可能

成功と失敗のみ判断可能

スクリーンショットやログなど多彩な情報で判断可能

クロスブラウザテスト

Chromeのみ

Chromeのみ

Safariなど設定可能

Plan設定

ラベルを指定したグルーピングだけ可能

ラベルを指定したグルーピングだけ可能

Basic認証設定、ステージ設定、HTTPヘッダ設定など細かい設定が可能

Auto-heal実行, visualリグレッション通知, JavaScriptエラー検知など

できない

できない

できる

mabl Link

設定できない

設定できない

設定可能

実行回数としてのカウント

カウントされない

カウントされない(Enterpriseプランでのみ実行可能)

カウントされる


Did this page help you?