このガイドでは、次の項目について、よく寄せられる質問を取り上げます。
- プランの作成と設定
- デフォルトのmablプランの管理
- プランの実行
- プラン実行のレビュー
プランの作成と設定
テストを実行するためにプランを作成する必要がありますか?
以下のいずれかの操作が必要な場合は…
... テストを作成する必要があります。
ステージとは何ですか?
プランステージは、プラン内でテストを実行する順序を指定するためのグループ化メカニズムです。プランステージは、環境内でテスト対象アプリケーションのセットアップ処理またはティアダウン処理が必要なテストの実行に便利です。
テストは必ずプランに入れる必要がありますか?
いいえ。テストをプランに関連付ける必要はありません。新しいテストを作成するときに、[Add to plan] セクションで [No plan] を選択できます。ローカルとクラウドでアドホックテスト実行をトリガーできます。
後で考えが変わった場合は、次の手順を実行して、いつでも新規または既存のプランにテストを追加できます。
１つのプランで複数のデータテーブルを使用できますか?
はい。詳細については、こちらのガイドを参照してください。
1つのプランに複数のクレデンシャルの組み合わせを使用できますか?
1つのプランには、1組のクレデンシャルしか割り当てられません。1つのプランに複数のクレデンシャルの組み合わせを使用する必要がある場合は、別の方法を検討してください。以下は、その例です。
- 環境変数: この方法は、複数のチームが異なる環境で、複数のクレデンシャルの組み合わせを使用する場合に適しています。
- ログインフローの指定: この方法は、複数のチームが1つのアプリケーション/環境で複数のクレデンシャルの組み合わせを使用する場合に適しています。クレデンシャル/ユーザーの役割ごとのフローは、複数のテストで再利用できます。
デフォルトのmablプラン
「Verify home page load and login」と「Check all pages for broken links and errors」は、どのようなプランですか?
mablで新しいアプリケーションを設定する際、ベースラインとなるカバレッジをすばやく確立するために、無料で実行される2つのテストとプランが自動的に追加され、アプリケーションが稼働していることを確認するとともに、リンク切れの可能性を通知します。
- "Verify home page load and login" プランには、"Visit home page" というテストが1つ含まれます。この基本的なスモークテストは、環境のベースURLにアクセスし、必要な場合は自動ログインフローでログインします。このテストは4時間ごと、およびデプロイ時に実行されます。
- "Check all pages for broken links and errors" プランにも、"Visit all linked pages within the app" というテストが1つ含まれます。このテストは、リンククローラーテストとも呼ばれます。1週間に1回実行されます。
これらのプランを実行したくない場合は、トグルで無効にすることができます。
デフォルトのmablプラン内のテストは編集できますか?
デフォルトのmablプラン内のテストは編集できません。環境、デバイス設定 (デスクトップまたはモバイル)、ログインクレデンシャルなど、一部の設定はプランレベルで編集できます。
デフォルトのmablテストにカスタムのログインフローを追加する場合は、テストの詳細ページに移動し、次の3つの手順を実行します。
- [Copy with Custom Login] ボタンをクリックします。
- 使用するログインフローを選択します。
- [Duplicate] をクリックします。カスタムログインフローを含む、デフォルトテストのコピーが作成されます。
カスタムログインフローを含む、コピーしたデフォルトテストのクラウド実行は、クレジットの割り当て量にカウントされます。
mablによって追加されたデフォルトプランを削除できますか?
デフォルトプランを手動で削除することはできません。これらのプランでは、削除アイコンが無効になっています。
- これらのプランを実行したくない場合は、トグルでプランを無効にすることができます。
- ワークスペースからアプリケーションを削除すると、関連付けられているホームページとリンククローラープランが自動的に削除されます。
プランの実行
プランをローカルで実行できますか?
mablデスクトップアプリケーションとmabl CLIのどちらからも、ローカルのプラン実行をトリガーすることはできません。
mabl CLIでは、--from-plan-idオプションを指定し、mabl tests run –from-plan-id \<plan_id> コマンドでローカルのテスト実行をトリガーできます。このコマンドは、プラン内のすべてのテストをテスト名のアルファベット順で実行するローカル実行をトリガーします。同時性、ステージ、DataTableシナリオ、共有変数など、プランレベルで構成される設定が使用されないため、この実行はプラン実行とはみなされません。
複数の環境に対してプランを実行できますか?
はい。プランの設定で構成できます。
プランが設定された複数の環境のうち、1つの環境だけでプランを実行することはできますか?
プランを複数の環境で実行するように設定している場合、このプランを1つの環境だけで実行するには、2つの方法があります。
- 上部のナビゲーションアクションを使用して、プランの複製を作成します。複製したプランで、使用する1つの環境を選択します。このプランには、複数の環境を使用する元のプランと区別できるよう、わかりやすい名前を付けてください。
- mablデプロイイベントをトリガーして、1つの環境でそのプランを実行します。
プラン内のテストを順次実行することはできますか?
はい。プランステージで、テストの順次実行を設定できます。詳細については、プランステージジに関するドキュメントを参照してください。
同時に実行するテストの数を制限できますか?
はい。同時実行の制限を設定して、任意の時点で実行されるテストの数を制御できます。
同時に複数のプランをトリガーできますか?
はい。mablデプロイイベントをセットアップして、同時に複数のプランをトリガーできます。
ブランチ上でプランを実行できますか?
はい。詳細については、ブランチでのプランの実行に関するドキュメントを参照してください。
あるテストで生成された値を別のテストで認識することはできますか?
はい。テスト間で変数を共有するようにプランを設定できます。
複数のプラン実行で同じmabl Mailboxアドレスを使用できますか?
Mailboxのメールは、アドレスを生成したテストでのみ受信 (アサート) できます。
プラン実行のレビュー
プランの実行履歴をエクスポートできますか?
はい、プランの実行履歴はCSVファイルとしてエクスポートできます。プランのプラン詳細ページに移動して、[Download CSV] ボタンをクリックします。
プラン実行の結果を確認するAPIエンドポイントはありますか?
プラン実行の結果を取得するには、3つの方法があります。
- Execution Result API: mablデプロイイベントによってトリガーされたプランの結果をJSON形式で取得します。
- 実行後のWebhook: ワークスペースでトリガーされたすべてのテストの結果をJSON形式で取得します。
- CI/CDインテグレーション: mablテストでJenkins、Bamboo、Circle CIとの統合を使用している場合、テストの結果をJUnitレポートで取得できます。
プラン実行の時間はどのように計算しますか?
プラン実行時間は、プランがスケジューリングされた時刻から完了した時刻までの時間を計測します。