生成AIによるアサーション – mablヘルプ

アプリケーションのより複雑な点を検証する必要がある場合は、生成AIでアサーションを作成してみてください。生成AIによるアサーションを使うと、自然言語のプロンプトでページやダウンロードしたファイルの内容を検証できます。チームの誰でも簡単に作成・保守でき、要素やページ属性に関する高度な知識は必要ありません。

生成AIアサーションをいつ使うべきか迷っている場合は、この記事で、一般的なユースケースと既知の制限事項を取り上げながら、生成AIアサーションを使用するタイミングについてのガイダンスを提供します。

モバイルテストでの生成AIによるアサーション

お客様データの保護

mablの生成AI機能は、Google CloudのエンタープライズAIツール上に構築されています。mablおよびmablのサービスパートナーであるGoogle Cloudが、お客様のデータをこれらのモデルのトレーニングに使用することはありません。mablでの生成AIの使用に懸念がある場合は、担当のカスタマーサクセスマネージャーにお問い合わせください。

生成AIアサーションのユースケース

生成AIアサーションは、アプリケーション内のテキストや画像の内容や品質を評価するのに最適です。特に、従来のHTMLやCSSアサーションでは検証が難しい、または不可能なコンテンツに対して有効です。

有効で信頼性の高い結果が得られるプロンプトの作成については、生成AIによるアサーションのベストプラクティスに関する記事を参照してください。

テキスト内容を検証する

ユースケース	プロンプト例
特定の単語またはフレーズ (変数値を含む) の有無を検証する。	「{{@label}}がこのテーブルの1つ以上の行に表示されていることを確認してください。」
ページが正しい言語で表示されていることを確認する。	「ページ上のすべてのテキストがスペイン語で表示されていることを確認してください。」
文法と綴りに間違いがないことを確認する。	「ブログ記事に文法ミスや誤表記がないことを確認してください。」
太字やハイパーリンク付きテキストなどの書式が適切であることを確認する。	「プライバシーポリシーがハイパーリンクになっていることを確認してください。」
1つのアサーションでテキストと視覚的コンテキストの複数の側面を検証する。	「スクリーンショット内に以下が存在することを確認してください。 - mablのロゴ - 無料トライアルを開始するためのボタン - 言語選択ツール - 壊れた画像が存在しないことも検証してください。」

動的コンテンツの品質を検証する

ユースケース	プロンプト例
特定の入力に基づいて結果が適切であることを確認する。	「ページ上の結果が{{@search_input}}に関連したものであることを確認してください。」
特定の入力に基づいてチャットボットの応答が適切であることを確認する。	「チャットボットの応答が{{@question_input}}に関連したものであることを確認してください。」
テキストのトーンを確認する。	「チャットボットからの応答がプロフェッショナルなトーンになっていることを確認してください。」
AIによって生成されたテキストが文法的に正しく、事実に基づいており、トピックに関連していることを確認してください	「この商品説明が文法的に正しく、誤字脱字がなく、{{@product_item}}の特徴と利点を一貫性のある形で明確に説明していることを確認してください。」
パーソナライズされたおすすめ、広告、またはユーザーインターフェースが、指定されたユーザープロファイルに対して正しく適切に表示されていることを検証します。	「このページに表示されているプロモーションが、航空券の割引、ホテル予約、旅行用品など旅行に関連しており、休暇を計画しているユーザーに適した内容であることを確認してください。」

画像の検証

ユースケース	プロンプト例
画像の有無または内容をチェックする (色やオブジェクトなど)	「ギリシャ文字が書かれた地球儀の画像が存在することを確認してください。」
特定の入力に基づいて画像が適切であることを確認する。	「すべての写真が{{@search_input}}に関連する画像を示していることを確認してください。」
ビデオコンテンツの瞬間のアサーションを作成する。	「ビデオの下部に、一時停止ボタン、設定アイコン、音量コントローラ、全画面表示用アイコンが表示されていることを確認してください。」
特定の要素が変化しても、ページが特定のビジュアルテーマやデザインに準拠していることをアサートします。	「検索結果ページに冬をテーマにした背景が表示されていることを確認してください。」

制限事項

生成AIによるアサーションは、ユースケースによってうまく機能する場合とそうでない場合があります。以下のタイプの生成AIによるアサーションは十分に機能しない可能性があるか、コンテキストの追加が必要です。

ソートされたテーブル

テーブルのソートを要求する場合、生成AIによるアサーションに使用されているモデルは「厳密な」昇順または降順に傾く傾向があります。テーブル内に重複する値が存在する場合、このアサーションは失敗します。この場合は、ソートに重複する値が含まれていてもよいことを示す明示的なアサーションの説明を記述してください。

計算

生成AIは、「すべての行の合計がXよりも小さくなることを確認してください」や「合計列の値が列Aの合計に等しいことを確認してください」のような、計算が必要なアサーションでは間違いを犯す可能性があります。

視覚的な重なり

生成AIモデルは、「このページ上のテキストは部分的に隠れていますか?」のような、重なり合ったエレメントや見えない部分があるエレメントを認識しなければならないアサーションではうまく機能しません。

空間的配置

生成AIモデルは、すべての画像が中央揃えになっているか、画面上のアイテムがグリッド表示かリスト表示かといった、ページの空間的配置を分析するプロンプトをうまく解釈できません。