インサイト

mablは、アプリケーションの動作が大きく変化したことを検出した場合、インサイトを生成します。こうした変化は [Insights] ページで確認できます。

[Insights] ページの使い方には、主に次の2つがあります。

1. アプリケーションの現在の状態を確認する - 視覚的変化、自動修復、JavaScriptのエラーなど、特定のインサイトを定期的にモニタリングして異常を確認します。
2. アプリケーションに何らかの変化が起きた時期を特定する - テストの自動修復が行われたときや、ページの読み込み時間が大幅に長くなったときなど、特定の変化が生じた時期を特定します。

📘

SlackおよびTeamsとのインテグレーション

SlackやMicrosoft Teamsを使用している場合は、新しいインサイトが利用可能になったときに通知するようmablを設定できます。

SlackおよびTeamsとのインテグレーションでは、特定のタイプのインサイトのみを通知するように設定できるため、チームにとって重要度の高い情報のみを確認できます。

[Insights] ページで、タイプ、アプリケーション、環境のフィルターを使用して、インサイトを確認します。インサイトカードのタイトルをクリックすると、詳細が表示されます。

インサイトのタイプとインサイトをアーカイブする方法の詳細については、以下を参照してください。

インサイトのタイプ

Auto-healed a test (テストの自動修復)

プラン内でテストを実行する際、目的のエレメントに関するmablの把握内容に高い確度で一致するエレメントがない場合、mablはステップの自動修復を試みます。このテストが成功すると、自動修復インサイトが生成されます。

アドホックテスト実行でステップが自動修復された場合、またはテスト実行が失敗した場合、自動修復インサイトは生成されず、自動修復は記録されません。

リンク切れに関するインサイト

リンククローラーテストおよびビジュアルスモークテストでリンク先ページにアクセスしたときに、次の3つのタイプのインサイトが生成されます。

• Links broken (リンク切れ): リンククローラーテストで前回の実行では見つからなかったリンク切れが見つかった
• Links fixed (リンクの修正): リンククローラーテストで見つかったリンク切れの数が、前回の実行よりも少なくなっている
• Links working (リンク正常): リンククローラーテストでリンク切れが見つからなかった

Deployment integration working (デプロイメントのインテグレーションが正常に機能)

新しい環境でデプロイイベントを初めてトリガーした場合に、このインサイトが生成されます。

First run of Plan started (プランの最初の実行を開始)

新しいプランを初めて保存し、実行を開始した場合に、このインサイトが生成されます。

First test trained (最初のテストのトレーニングが完了)

初めて新しいテストを保存した場合に、このインサイトが生成されます。

JavaScriptエラーに関するインサイト

テストの実行中に、クライアントサイドのJavaScriptの例外で変化が検出された場合に、これらのインサイトが生成されます。

• JavaScript error (JavaScriptエラー): テストの実行中に、クライアントサイドのJavaScriptの新しい例外が検出された
• JavaScript fixed (JavaScriptの修正): 検出されたクライアントサイドのJavaScriptの例外の数が、前回のテスト実行よりも少なくなっている
• JavaScript working (JavaScript正常): 前回のテスト実行ではJavaScriptエラーが検出されていたが、その後のテスト実行でクライアントサイドのJavaScriptの例外が検出されなかった

ログインに関するインサイト

自動ログインフローを使用するテストでは、次のインサイトが生成されます。

• Login broken (ログイン失敗): 前回のプラン実行では自動ログインフローに成功していたが、その後の自動ログインフローに失敗している
• Login successful (ログイン成功): 前回のプラン実行では自動ログインフローに失敗していたが、その後の自動ログインフローに成功している

OAuthインテグレーション有効

OAuthトークン交換を行うインテグレーション (SlackおよびSegmentインテグレーションを含む) をセットアップした場合に、このインサイトが表示されます。

ページの読み込みに関するインサイト

デフォルトのホームページ訪問およびリンククローラーテストでは、ページの読み込みに関する以下のインサイトが生成されます。

• Page load broken (ページの読み込み失敗): ホームページ訪問テストでアプリケーションのURLを正常に読み込むことができなかった
• Page load successful (ページの読み込み成功): 初めて、または前回の失敗後初めて、アプリケーションのURLが正常に読み込まれた
• Page load time high (ページの読み込み時間が長い): ホームページ訪問テストの実行時間が、過去の実行時間に基づく予測より著しく長かった
• Page load time low (ページの読み込み時間が短い): ホームページ訪問テストの実行時間が、過去の実行時間に基づく予測より著しく短かった
• Page load time normal (ページの読み込み時間が正常): ホームページ訪問テストの実行時間が正常範囲に戻った

プランに関するインサイト

プランステータスの変更を通知するために、次の2つのタイプのインサイトが生成されます。

• Plan failing (プランの失敗): 以前のプラン実行に成功していたが、その後のプランが失敗している
• Plan passing (プランの成功): 以前のプラン実行に失敗していたが、その後のプランが成功している

テスト実行時間に関するインサイト

テストがプランの一部として実行される場合、テストの実行時間に関するインサイトが生成されます。

• Test run time high (テストの実行時間が長い): テストの実行時間が、過去の実行時間に基づく予測より著しく長かった
• Test run time low (テストの実行時間が短い): テストの実行時間が、過去の実行時間に基づく予測より著しく短かった
• Test run time normal (テストの実行時間が正常): テストの実行時間が正常範囲に戻った

視覚的変化

ビジュアルスモークテストまたは視覚的変化の学習を有効にしているブラウザーテストで、視覚的変化を含むステップが検出された場合は、視覚的変化に関するインサイトが生成されます。

インサイトのアーカイブ

インサイトの確認が済んだ後、それらのインサイトがその後の結果に表示されないようにする場合は、[Archive all] ボタンをクリックします。

アーカイブされたインサイトは、完全に削除されるわけではなく、[State] フィルターを "Archived" に設定することで参照できます。

📘

注

インサイトのアーカイブは、[Insights] ページの上部に表示されるインサイトのメトリックには影響しません。これらのメトリックは、次のように算出されます。

• Test coverage (テストカバレッジ): ワークスペース内のすべてのアプリケーションの平均合計テストカバレッジ
• Auto-heals (自動修復数): ワークスペース内の合計自動修復数 (最大100)
• Visual changes (視覚的変化数): 視覚的変化を含むステップの合計数 (最大100)
• Broken links (リンク切れ数): 直近のリンククローラー実行でのリンク切れの数
• JavaScript errors (JavaScriptエラー数): 直近のリンククローラー実行でのJavaScriptエラーを含むステップの数