生成AIによるアサーションのユースケース – mablヘルプ

アプリケーションのさらに複雑な側面についての検証が必要な場合は、生成AIによるアサーションを作成します。生成AIによるアサーションは、エレメントのスクリーンショットとアサーションの説明を大規模言語モデルに送信して、アサーションに成功するか失敗するかを判定します。

この記事では、生成AIによるアプリケーションの検証の一般的なユースケースと制限事項について説明します。

モバイルテストでの生成AIによるアサーション

お客様データの保護

mablの生成AI機能は、Google CloudのエンタープライズAIツール上に構築されています。mablおよびmablのサービスパートナーであるGoogle Cloudが、お客様のデータをこれらのモデルのトレーニングに使用することはありません。mablでの生成AIの使用に懸念がある場合は、担当のカスタマーサクセスマネージャーにお問い合わせください。

一般的なユースケース

生成AIによるアサーションは、従来のHTMLまたはCSSアサーションでは検証が困難または不可能なアプリケーション内のテキストや画像の内容と品質を評価するのに適しています。

有効で信頼性の高い結果が得られるプロンプトの作成については、生成AIによるアサーションのベストプラクティスに関する記事を参照してください。

テキストコンテンツの検証

ユースケース	プロンプト例
特定の単語またはフレーズ (変数値を含む) の有無を検証する。	「{{@label}}がこのテーブルの1つ以上の行に表示されていることを確認してください。」
ページが正しい言語で表示されていることを確認する。	「ページ上のすべてのテキストがスペイン語で表示されていることを確認してください。」
文法と綴りに間違いがないことを確認する。	「ブログ記事に文法ミスや誤表記がないことを確認してください。」
太字やハイパーリンク付きテキストなどの書式が適切であることを確認する。	「プライバシーポリシーがハイパーリンクになっていることを確認してください。」
1つのアサーションでテキストと視覚的コンテキストの複数の側面を検証する。	「スクリーンショット内に以下が存在することを確認してください。 - mablのロゴ - 無料トライアルを開始するためのボタン - 言語選択ツール - 壊れた画像が存在しないことも検証してください。」

テキスト品質の検証

ユースケース	プロンプト例
特定の入力に基づいて結果が適切であることを確認する。	「ページ上の結果が{{@search_input}}に関連したものであることを確認してください。」
特定の入力に基づいてチャットボットの応答が適切であることを確認する。	「チャットボットの応答が{{@question_input}}に関連したものであることを確認してください。」
テキストのトーンを確認する。	「チャットボットからの応答がプロフェッショナルなトーンになっていることを確認してください。」

画像の検証

ユースケース	プロンプト例
画像の有無または内容をチェックする (色やオブジェクトなど)	「ギリシャ文字が書かれた地球儀の画像が存在することを確認してください。」
特定の入力に基づいて画像が適切であることを確認する。	「すべての写真が{{@search_input}}に関連する画像を示していることを確認してください。」
ビデオコンテンツの瞬間のアサーションを作成する。	「ビデオの下部に、一時停止ボタン、設定アイコン、音量コントローラ、全画面表示用アイコンが表示されていることを確認してください。」

制限事項

生成AIによるアサーションは、ユースケースによってうまく機能する場合とそうでない場合があります。以下のタイプの生成AIによるアサーションは十分に機能しない可能性があるか、コンテキストの追加が必要です。

ソートされたテーブル

テーブルのソートを要求する場合、生成AIによるアサーションに使用されているモデルは「厳密な」昇順または降順に傾く傾向があります。テーブル内に重複する値が存在する場合、このアサーションは失敗します。この場合は、ソートに重複する値が含まれていてもよいことを示す明示的なアサーションの説明を記述してください。

計算

生成AIは、「すべての行の合計がXよりも小さくなることを確認してください」や「合計列の値が列Aの合計に等しいことを確認してください」のような、計算が必要なアサーションでは間違いを犯す可能性があります。

視覚的な重なり

生成AIモデルは、「このページ上のテキストは部分的に隠れていますか?」のような、重なり合ったエレメントや見えない部分があるエレメントを認識しなければならないアサーションではうまく機能しません。

空間的配置

生成AIモデルは、すべての画像が中央揃えになっているか、画面上のアイテムがグリッド表示かリスト表示かといった、ページの空間的配置を分析するプロンプトをうまく解釈できません。