mabl API に、ワークスペースレベルおよびアカウントレベルでテスト実行状況を確認するためのエンドポイントが追加されました\!これらの新しいエンドポイントをカスタムレポートのワークフローで活用することで、チームがmablでどのようにテストを行っているかをより詳細に把握できます。
始める前に
テスト実行状況のエンドポイントを利用するには、会社単位の「Reporting」APIキーが必要です。アカウント管理者は 会社ダッシュボード から作成できます。
左側のナビゲーションから API key タブを開き、「Reporting」APIキーを作成してください。
アカウントレベルのエンドポイントに対応するため、アカウントダッシュボードからアカウントIDを取得する新しい方法も追加しました。アカウントのドロップダウンは、Value、Quality、Engagement、Billing の各タブからアクセスできます。
テスト実行回数を取得する
ワークスペースまたはアカウントについて、テスト実行の合計回数とそのステータス(成功、失敗/終了)を取得し、日次、週次、または月次の単位で集計できます。
このエンドポイントを使用すると、チームのテスト実行状況を時系列で追跡し、成功率を算出してテストの信頼性を監視できます。オプションの group_by フィルターを追加すると、複数のアプリケーションやプランにまたがってテスト実行と結果を比較したり、特定のアプリ、プラン、ワークスペースに結果を絞り込んだりできます。
実行秒数を取得する
ワークスペースまたはアカウントについて、日次、週次、または月次の合計実行時間を取得し、日次、週次、または月次の単位で集計できます。
このエンドポイントを使用すると、アプリケーション、プラン、テストの種類ごとにテスト実行時間を把握できます。たとえば、オプションの group_by フィルターを指定してプランごとの実行時間を取得すると、CIワークフローのボトルネックの原因となっている、実行時間の長いテストスイートを特定できます。
実行時間は、実行が開始された時点から完了した時点までを計測します。ランナーを待機しているキュー状態の時間は含まれません。
テスト実行の最大同時実行数を取得する
ワークスペースまたはアカウントについて、同時に実行されたテスト実行の日次最大数を、ワークスペースに設定されたテスト実行の同時実行数の上限とあわせて取得できます。
このエンドポイントを使用すると、ワークスペースが同時実行数の上限にどれだけ近づいているかを監視できます。テスト実行の最大同時実行数を日次の合計テスト実行回数とあわせて分析することで、テストが一日を通して多かれ少なかれ継続的に実行されているのか、それとも開発パイプラインに大きなまとまったバーストとして集中しているのかを判断できます。
このデータを使ってROIダッシュボードを構築する
このAPIデータをTableau、Microsoft Power BI、Domo、Looker StudioなどのBI(ビジネスインテリジェンス)ツールに連携している場合、以下の一般的な計算式を使用して、生のテスト実行状況を明確なビジネス価値や財務的価値に変換できます。
1. 削減できた手作業の工数
自動化によってチームが回避できた手動QAの工数を定量化します。
計算式: (テスト実行回数の合計 * 手動テスト1回あたりの平均所要時間(分)) / 60
2. テスト実行1回あたりのコスト
デプロイ頻度が増えるにつれて、自動化がQAの限界コストをどれだけ引き下げるかを財務チームに示せます。
計算式: mablのサブスクリプション費用の合計 / テスト実行回数の合計
3. 並列化による効率向上の倍率
パイプライン全体の実行時間を増やすことなく、同時実行のテスト能力をどれだけ効果的に活用して開発者のフィードバックループを高速化しているかを示せます。
計算式: (テスト実行回数の合計 * 平均実行秒数) / 実際のパイプライン実行時間