メインコンテンツへスキップ

パフォーマンステスト実行の仕組み

Eva Ferreira
  • 更新

パフォーマンステストは機能テストと同じmablクラウドインフラストラクチャーを使用しますが、実行方法には少し違いがあります。この記事では、パフォーマンステストの開始から完了までの実行の流れについて説明します。

パフォーマンステストは、mablクラウドでの実行がサポートされています。ローカルでは実行できません。

テスト開始

パフォーマンステストがトリガーされると、mablはテストで定義された負荷構成に従ってランナーを並列で起動します。各ランナーは仮想ユーザーとして機能し、機能テストを実行します。

プライベートネットワークへの接続

プライベート環境でテストする場合、mabl ランナーがあなたのアプリケーションや API にアクセスする方法は、mabl でプライベートネットワークアクセスをどのように設定したかによって異なります。

  • mabl の静的 IP アドレス - パフォーマンステスト用の mabl IP 範囲 - 34.31.138.224/27 - が、mabl パフォーマンステストのトラフィックがテスト環境にアクセスできるように、貴社の許可リストに追加されました。
  • mabl リンク - mabl ランナーは、あなたのプライベートネットワーク内のホストで実行中のリンクエージェントを通じてネットワークにアクセスします。mabl リンクを使ってパフォーマンステストを実行すると、テストトラフィックの経路に追加のステップが発生し、パフォーマンステストで測定されるレイテンシが増加する場合があります。そのため、静的IPアドレスの方法がチームで利用できない場合に、主にmabl リンクの方法を使うことをおすすめします。

Link 経由のパフォーマンス実行におけるデフォルトの同時実行数の上限は、1 回のパフォーマンステスト実行あたりランナー 100 件です。パフォーマンステストで 100 件を超えるランナーを指定した場合、実行時に mabl が自動的に比率を保って縮小し、Link 経由での実行時に 100 を超えないようにします。

たとえば、パフォーマンステストに 2 つのワークロードがあり、一方の同時実行数が 50、もう一方の同時実行数が 100（合計 150）の場合、テストが Link 経由で実行されると、mabl はそれぞれ 33 と 67 にスケールダウンします。Link を使用しない 環境 で同じ テスト を実行する場合は、元の設定どおりの同時実行数が使用されます。

同時実行数を増やす必要がある場合は、mabl サポートチームまでご連絡ください。

実行

ランナーが開始すると、それぞれの仮想ユーザーが自分の機能テストを実行し始めます。mablは設定された期間が終了するまで、機能テストをループで実行し続けます。例えば、パフォーマンステストが10人の仮想ユーザーで1つのAPIテストを15分間実行するように設定されている場合、各仮想ユーザーは15分間、APIテストを繰り返し実行します。

データテーブルの操作

パフォーマンステストがデータテーブルに関連付けられている場合、mablは各仮想ユーザーに特定のシナリオを割り当て、その仮想ユーザーはテストの期間中、そのシナリオを繰り返し実行します。

たとえば、機能テストで100個のシナリオを持つデータテーブルを使用するように設定し、同時実行数を50の仮想ユーザーに設定した場合、パフォーマンステストではテストの実行中、最初の50個のシナリオが使用されます。

一方、機能テストで50個のシナリオを持つデータテーブルを使用し、同時接続数を100人の仮想ユーザーに設定した場合、パフォーマンステストでは各シナリオがテストの実行中に2人の仮想ユーザーによって使用されます。

プランレベルのデータテーブル設定は適用されません

パフォーマンステストがプランで実行される場合、プランレベルのデータテーブル設定は使用されません。パフォーマンステストのデータテーブル設定は常にテストレベルで設定されます。

ブラウザーテストの詳細

テストが一貫して最小限のオーバーヘッドで実行されるように、パフォーマンステストで実行されるブラウザテストには以下が含まれません。

すべてのブラウザーテストはChrome上で実行されます。

ブラウザテストがページ上の要素を見つけるために最新の情報を使用していることを確認するために、これらのテストをプラン内で定期的に通常の機能テストとして実行することをおすすめします。例えば、これらのブラウザテストを週に1回実行するプランを作成することができます。そうすることで、アプリケーションに変更があった場合でも、mablがアプリの検索値を最新の状態に保つことができます。

機能テストの失敗

パフォーマンステストは、機能テストが失敗しても実行を停止しません。機能テストが失敗した場合でも、残り時間がある限り、仮想ユーザーは設定された期間中テストを再度実行し続けます。

テストの完了

設定された期間の終了時に、mablはランナーをシャットダウンし、最終的なメトリクスをクラウドに送信し、失敗基準を評価します。失敗基準に基づき、mablはパフォーマンステストに「成功」または「失敗」のステータスを割り当てます。

パフォーマンステスト結果の詳細については、次の記事を参照してください。

関連記事