mablの利用金額は実行回数に大きく依存します。

参考： テストを何回実行できますか？

よって、mablでテスト自動化をはじめる場合に、どういったタイミングで実行するかを設計する必要があります。

実行回数の計算例

いくつかのユースケースごとに考えてみましょう。ここでは以下のユースケースとしています。

• 10名規模の開発チーム
• 100件ほどのリグレッションテストをmablで自動化している
• リリースサイクルは2週間に1回
• STGデプロイは週に1回

リリース前だけ実行する場合

1. QAエンジニアは、リグレッションテストを定期的に作成、メンテしています。テストの実行はトレーナーを使ってローカルで行います
2. エンジニアは、QAエンジニアが作成したテストを使って定期的にテストしています。実行はCLIを使ってローカルで行い、開発した機能が他に影響がないことを確認し続けられるようになりました。テストに修正が必要なら自らトレーナーを使って修正を行います
3. リリース前にクラウド環境でテスト実行して最終確認を行います

このケースの場合、1と2はローカル実行ですので実行回数はカウントされません。

3のみクラウド実行で実行回数としてカウントされるため、月当たりの実行回数は以下になります。

200ケース ｘ リリース前の実行2回 ＝ 400回 / 月 実行

デプロイに絞って確認する場合

1. QAエンジニアとエンジニアの動きは上記と同じです
2. リリース前とデプロイのタイミングでクラウド環境でテスト実行して最終確認を行います

2のみクラウド実行で実行回数としてカウントされるため、月当たりの実行回数は以下になります。

200ケース ｘ （STGデプロイ4回 ＋ リリース前の実行2回） ＝ 1,200回 / 月 実行

毎日夜間確認もしたい場合

1. QAエンジニアとエンジニアの動きは上記と同じです
2. 夜間に定期実行することで早期に問題を発見したいと考えています
3. リリース前とデプロイのタイミングでクラウド環境でテスト実行して最終確認を行います

2と3のみクラウド実行で実行回数としてカウントされるため、月当たりの実行回数は以下になります。

200ケース ｘ （20営業日 + STGデプロイ4回 ＋ リリース前の実行2回） ＝ 5,200回 / 月 実行

まとめ

実行回数はどのタイミングでどうテストするかによって大きく変わってきます。毎回全てを流すこともできますし、機能を絞って実行もできます。

mablはこのような実行のタイミングや、実行するテストの指定を簡単に設定可能です。