メインコンテンツへスキップ

ビジュアルアサーションを使用するタイミング

Molly Exten
  • 更新

アプリケーションのより複雑な側面を検証する必要がある場合は、生成AIを使用してアサーションを作成してみてください。ビジュアルアサーションを使用すると、自然言語プロンプトを使用してページまたはダウンロードしたファイルのコンテンツを検証できます。チームの誰でも簡単に作成および管理でき、要素やページ属性に関する高度な知識は必要ありません。

ビジュアルアサーションをいつ使用すべきかわからない場合は、この記事でガイダンスを提供しています: - 一般的なユースケース - 標準アサーション vs. ビジュアルアサーション - 既知の制限事項

gen_ai_assert_ja.png

モバイルテストのビジュアルアサーション

お客様データの保護

mablの生成AI機能は、Google Cloudのエンタープライズ向けAIツールをベースに構築されています。mablおよびサービスパートナーであるGoogle Cloudは、これらのモデルのトレーニングにお客様のデータを使用することはありません。mablにおける生成AIの使用について懸念がある場合は、カスタマーサクセスマネージャーまでお問い合わせください。

ビジュアルアサーションのユースケース

ビジュアルアサーションは、アプリケーション内のテキストや画像のコンテンツと品質を評価するのに最適です。特に、従来のHTMLやCSSアサーションでは検証が困難または不可能なコンテンツに有効です。

有効で信頼性の高い結果を生成するプロンプトの作成に関する追加のガイダンスについては、ビジュアルアサーションの説明を記述するためのベストプラクティスに関する記事を参照してください。

テキストコンテンツを検証する

ユースケース プロンプト例
特定の単語またはフレーズ (変数値を含む) の有無を検証する。 「{{@label}}がこのテーブルの1つ以上の行に表示されていることを確認してください。」
ページが正しい言語で表示されていることを確認する。 「ページ上のすべてのテキストがスペイン語で表示されていることを確認してください。」
文法と綴りに間違いがないことを確認する。 「ブログ記事に文法ミスや誤表記がないことを確認してください。」
太字やハイパーリンク付きテキストなどの書式が適切であることを確認する。 「プライバシーポリシーがハイパーリンクになっていることを確認してください。」
1つのアサーションでテキストと視覚的コンテキストの複数の側面を検証する。 「スクリーンショット内に以下が存在することを確認してください。
- mablのロゴ 
- 無料トライアルを開始するためのボタン 
- 言語選択ツール 
- 壊れた画像が存在しないことも検証してください。」

動的コンテンツの品質を検証する

ユースケース プロンプト例
特定の入力に基づいて結果が適切であることを確認する。 「ページ上の結果が{{@search_input}}に関連したものであることを確認してください。」
特定の入力に基づいてチャットボットの応答が適切であることを確認する。 「チャットボットの応答が{{@question_input}}に関連したものであることを確認してください。」
テキストのトーンを確認する。 「チャットボットからの応答がプロフェッショナルなトーンになっていることを確認してください。」
AI生成テキストが文法的に正しく、事実に基づいて正確で、トピックに関連していることを確認してください 「この製品説明が文法的に正しく、誤字がなく、{{@product_item}}の機能とメリットを明確かつ一貫性のある方法で説明していることを確認してください。」
パーソナライズされたレコメンデーション、広告、またはユーザーインターフェースが、特定のユーザープロファイルに対して正しく適切に表示されることを検証します。 「このページに表示されているプロモーションが、航空券の特典、ホテルの予約、旅行用品など、旅行に関連しており、休暇を計画しているユーザーに適切であることを確認してください。」

画像の検証

ユースケース プロンプト例
画像の有無または内容をチェックする (色やオブジェクトなど) 「ギリシャ文字が書かれた地球儀の画像が存在することを確認してください。」
特定の入力に基づいて画像が適切であることを確認する。 「すべての写真が{{@search_input}}に関連する画像を示していることを確認してください。」
ビデオコンテンツの瞬間のアサーションを作成する。 「ビデオの下部に、一時停止ボタン、設定アイコン、音量コントローラ、全画面表示用アイコンが表示されていることを確認してください。」
特定の要素が変更された場合でも、ページが特定のビジュアルテーマやデザインに準拠していることをアサーションします。 「検索結果ページにウィンターテーマの背景が表示されることを確認してください。」

標準アサーション vs. ビジュアルアサーション

一般的なガイドラインとして、数学や正確な文字列など、精密な検証には標準アサーションを使用してください。判断、要約、視覚的な傾向など、知覚に重点を置いた検証にはビジュアルアサーションを使用してください。

次の表は、さまざまなシナリオにおいて、どのタイプのアサーションがより適切かを示しています:

検証が必要な場合… 標準アサーション ビジュアルアサーション
完全一致テキスト
テキストが「2026 Acme Corp. All rights reserved」と等しい
要素テキストが「Error 404: Page Not Found」と等しい 		✅
特定の要素の存在
要素 #nav-user-profile が存在します
要素 .cookie-consent-banner が存在する(「Accept」をクリックできるように) 		✅
動的フレージング
保存が過去数分以内に行われたことを「最終保存」タイムスタンプで確認します。表示される正確な時刻に関係なく確認できます。 		✅
ビジュアルトレンド
「週間トラフィック」棒グラフを確認してください。「金曜日」のバーが「月曜日」のバーよりも視覚的に高いことをアサーションします。 		✅
複雑なロジック
「原材料」リストを確認してください。肉、乳製品、卵の原材料が記載されていないことを確認し、製品が完全にビーガンであることをアサーションします。 		✅
トーン/センチメント
チャットボットの最終応答が配送遅延について謝罪的なトーンであり、顧客に明確な次のステップを提供していることをアサートします。 		✅

制限事項

ビジュアルアサーションでサポートされるユースケースもあれば、そうでないものもあります。以下のタイプのビジュアルアサーションは十分にサポートされていないか、追加のコンテキストが必要です:

並べ替えられたテーブル

テーブルがソートされていることを要求する場合、ビジュアルアサーションに使用されるモデルは「厳密な」昇順または降順に傾く傾向があります。テーブルに重複する値がある場合、アサーションは失敗します。この状況では、ソートに重複する値を含めることができることを指定する、より明示的なアサーションの説明を記述する必要があります。

計算

生成AIは、「すべての行の合計がXよりも小さくなることを確認してください」や「合計列の値が列Aの合計に等しいことを確認してください」のような、計算が必要なアサーションでは間違いを犯す可能性があります。

視覚的な重なり

生成AIモデルは、「このページのテキストは部分的に隠れていますか?」など、重なり合った要素や部分的に隠れた要素の理解を必要とするアサーションでは、うまく機能しません。

空間的配置

生成AIモデルは、すべての画像が中央揃えになっているか、画面上のアイテムがグリッドビューまたはリストビューで表示されているかなど、ページの空間配置を分析するプロンプトの解釈が得意ではありません。

詳細はこちら

関連記事