BigQueryインテグレーション

mablではテスト出力やアクティビティを確認するためのさまざまなアプリケーション内ダッシュボードを提供していますが、アプリケーションによってはそれぞれのビジネスに合わせて作成した専用のレポートが役立つ場合もあります。BigQuery用のmablインテグレーションを利用すると、BigQueryやLooker Studioなどのツールでこうしたレポートをリアルタイムで抽出、変換、表示することができます。

mabl BigQueryインテグレーションでは、リアルタイムのカスタムレポートを利用して、テストパターンの詳細な分析を行うことができます。この記事では、mabl BigQueryインテグレーションの設定手順とmabl BigQueryデータセットのテーブルの概要について説明します。

セットアップ

mabl BigQueryインテグレーションを使用するには、有料のGCP BigQueryアカウントが必要です。

無料のトライアル用Google Cloudアカウントで利用できるBigQueryサンドボックス機能は、mabl BigQueryのフィードエクスポートでは使用できません。これは、BigQueryサンドボックスでストリーミングインサートがサポートされていないためです。

mabl用のサービスアカウントの作成

配信先のGoogle Cloud Platformプロジェクトに、BigQuery Data Editorとして、サービスアカウントmabl-feeds@mabl-prod.iam.gserviceaccount.comを追加します。詳細はこちら。

BigQueryインテグレーションの設定

mablアプリケーションで [Settings] [Integration] に移動し、BigQueryインテグレーションの [+ Setup] ボタンをクリックします。

BigQueryインテグレーションページで、エクスポート先のプロジェクトID、データセット名、エクスポートテーブルのプレフィックスを追加します。オプションで、[Redact personal information fields] をオンにすることもできます。[Save] をクリックして変更内容を保存します。

個人情報フィールドを編集

[Redact personal information fields] をオンにすると、以下のフィールドがBigQuery Exportフィードから除外されます。

• trigger_user_email
• actor_email

エクスポート時にこれらのフィールドのエントリがPII_REDACTEDという値に置き換えられます。plan_nameやlabelsなど、その他のフリーテキストフィールドは引き続き含まれます。mablは、これらのフィールドの内容を検査しません。

BigQueryテーブルのレイアウト

BigQueryインテグレーションでは、mablデータのストリーミングエクスポートが利用できます。BigQuery Exportフィードを使用して最初のmablテストを実行すると、mabl_exportデータセットと以下のテーブルが作成されます。

• プラン実行: <table_prefix>_plan_run
• テスト実行: <table_prefix>_journey_run
• 失敗の理由: <table_prefix>_run_categorization
• パフォーマンステストの実行: <table_prefix>_performance_test_run
• アクティビティフィード: <table_prefix>_activity_feed

たとえば、mablでBigQueryインテグレーションを設定する際にデフォルト名を使用した場合は、次のBigQueryテーブルが作成されます。

• <your-project>:mabl_export.mabl_plan_run
• <your-project>:mabl_export.mabl_journey_run
• <your-project>:mabl_export.mabl_run_categorization
• <your-project>:mabl_export.mabl_performance_test_run
• <your-project>:mabl_export.mabl_activity_feed

パーティション

これらのテーブルは、列に基づいて日ごとにパーティション分割されます。

• <table_prefix>_plan_run (start_time列)
• <table_prefix>_journey_run (start_time列)
• <table_prefix>_run_categorization (created_time列)
• <table_prefix>_performance-test_run (start_time列)
• <table_prefix>_activity_feed (created_time列)

一定期間の経過後にテストデータを破棄する場合は、BigQueryデータウェアハウスでパーティションの有効期限を設定します。

テーブルスキーマ

プラン実行テーブル

*_plan_runテーブルは、統合ワークスペースのすべてのプラン実行を含み、プラン実行の完了時に書き込まれます。

テスト実行テーブル

*_journey_runテーブルは、統合ワークスペースのすべてのテスト実行を含み、テスト実行の完了時に書き込まれます。テストがプラン実行の一部である場合、プラン実行が完了する前にテスト実行をテスト実行テーブルに書き込むことができます。

失敗の理由テーブル

*_run_categorizationテーブルは、統合ワークスペースのすべてのテスト実行の失敗の理由を含み、ユーザーが特定のテスト実行の出力に失敗の理由を設定したときに書き込まれます。

BigQueryのエクスポートは「データウェアハウス」方式で行われるため、テーブルが更新/削除されることはありません。追加のみが行われます。そのため、テスト実行の失敗の理由 (categoryディメンションに格納) が変更されるたびに、新しい行が書き込まれます。

journey_run_idでグループ化し、最新のcreate_timeの値を取得して、テスト実行に指定された最新のカテゴリを見つけます。ユーザーがテスト実行の失敗の理由をクリアした場合、categoryはNULLになります。

最新の失敗の理由を特定するには、次のサンプルクエリを使用します。my-project.mabl_export.mabl_run_categorizationを、BigQueryシステムのテーブル名に置き換えます。

SELECT failure_reason.*
FROM (
    -- Get latest update time
    SELECT 
        journey_run_id, 
        MAX(created_time) AS last_updated_time
    FROM `my-project.mabl_export.mabl_run_categorization`
    GROUP BY journey_run_id
) AS latest_categories
JOIN `my-project.mabl_export.mabl_run_categorization` AS failure_reason
    ON failure_reason.created_time = latest_categories.last_updated_time
-- Ignore removed failure reasons
WHERE failure_reason.category IS NOT NULL;

パフォーマンステスト実行テーブル

*_performance_test_runテーブルは、統合ワークスペースのすべてのパフォーマンステスト実行のメトリックを含み、テストの完了時に書き込まれます。パフォーマンステストがプラン実行の一部である場合、プラン実行が完了する前にパフォーマンステスト実行をパフォーマンステスト実行テーブルに書き込むことができます。

*_performance_test_runテーブルと*_journey_runテーブルはidで結合できます。

アクティビティフィードテーブル

*_activity_feedテーブルは、mabl UIのアクティビティフィードでサポートされるすべてのタイプのアクティビティデータなど、統合ワークスペースのすべてのアクティビティフィードエントリを含みます。

次のステップ

BigQueryインテグレーションの設定が済んだら、Looker StudioやGoogleスプレッドシートなどのツールを使って、データのクエリを実行したり、カスタムダッシュボードやチャートを作成したりすることができます。