プランのステージを使用すると、プラン内でのテスト実行の方法を制御できます。テストをステージにグループ化することで、次のことができます。
- テストの並列実行または逐次実行の設定
- 失敗時の動作の管理
- ブラウザ、同時実行数、DataTableのデフォルト設定の上書き
複数のステージがあるプランの例
このガイドでは、同時実行、失敗時の動作、上書きなど、プランのステージに適用可能な設定について説明します。
プランの編成のベストプラクティス
テストをプランに編成する方法についてのアドバイスが必要な場合は、テストのプランへの編成を参照してください。
最初に、次の手順で [Stage Options] モーダルウィンドウを開きます。
- プラン詳細ページを開きます。
- 鉛筆アイコンをクリックしてプラン編集ページを開きます。
- 下の [テスト] セクションまでスクロールして、プランのステージを見つけます。
- ステージの横の鉛筆アイコンをクリックして、[ステージオプション] モーダルウィンドウを開きます。
[ステージオプション] モーダルウィンドウへのアクセス
同時実行
ステージ内のテストは、並列実行するか逐次実行するかを設定できます。
同時実行の設定
並列
並列実行では、すべてのテストの実行が同時に開始されます。テストを並列に実行することで、実行時間とテスト間の依存性を最小化できます。
最大数
テストを並列実行するようにステージを設定している場合、デフォルトでは最大50のテストを同時に実行できます。[最大数] 欄を使用すると、同時実行数の制限を設定できます。
同時実行の制限の設定は、次のような数々のメリットがあるため、すべてのプランステージで推奨されます。
- 多くのアプリケーションは、特に本番環境以外の場合、利用できるリソースが限られています。同時実行数を適切に制限することで、サーバーに過度な負荷を与えるリスクなしに並列実行を行い、テストを高速化できます。
- 同時実行数の制限を利用すれば、並列実行されるテストの数を制限したり、失敗時に停止させるためだけに、余分なプランステージを追加することを避けられます。
- 並列実行のプランではテストが失敗したり信頼性が低下したりするが個別に実行したら成功する場合、完全な逐次実行するよう設定する前に、同時実行の制限数を減らしてみる方法があります。
特定のステージの実行
ステージタイトルの横にある再生ボタンをクリックすると、トラブルシューティングのために、プラン内個々をステージのみが実行されます。
逐次実行
逐次ステージのテストは、プランで定義されている順序で一度に1つずつ実行されます。
逐次ステージ実行の動作
プランのテストが複数のブラウザー、環境、またはDataTableシナリオで実行される場合、一度に1つのテストだけが (設定されているブラウザー/環境/シナリオの1つで) 実行されます。
失敗時の動作
プランのステージの設定に応じて、テストが失敗した場合の結果は異なります。[Stage Options] モーダルウィンドウには、失敗時の動作を管理する設定が2つあります。1つは常にこのステージのすべてのテストを実行するかどうか、もう1つは常にこのステージを実行するかどうかを決定します。
失敗時の動作
常にこのステージのすべてのテストを実行する
この設定をオンにした場合、ステージのすべてのテストが、成功または失敗するまで実行されます。
この設定をオフにした場合、いずれかのテストが失敗すると、ステージのそれ以降のテストは実行されません。失敗したテストより後に実行されるようにスケジュールされていたテストのステータスは [skipped] になります。
常にこのステージを実行する
この設定をオンにした場合、前のステージのテストが失敗した場合でも、このステージは常に実行されます。この設定は、前のステージで生成されたテストデータを削除するクリーンアップステージを定義するために使用できます。
この設定をオフにした場合、このステージのテストは、前のステージのすべてのテストが成功した場合にのみ実行されます。前のステージのテストが失敗した場合、このステージのテストのステータスは [skipped] になります。
上書き設定
ステージの上書き定
このステージのデバイス設定を上書きする
このステージでは異なるブラウザーのセットを使用します。
このステージの同時実行数を上書きする
このステージでは異なる同時実行数を使用します。
このステージではDataTableを無視する
[このステージではDataTableを無視する] 設定をオンにした場合、DataTableに関連付けられたテストで、そのテストに関連付けられた最初のDataTableの最初のシナリオだけが実行されます。