ビジュアルアサーションの説明を記述するためのベストプラクティス

ビジュアルアサーションは、自然言語プロンプトを使用してページまたはダウンロードしたファイルのコンテンツを検証します。ビジュアルアサーションは非決定論的な生成AIを使用するため、有効で信頼性の高い結果を得るために効果的なアサーションの説明を記述することが重要です。

この記事では、ビジュアルアサーションを作成およびテストする際に適用できるベストプラクティスを紹介します:

• 意図に焦点を当てる
• AIにどの程度厳密にするかを指示する
• 例を追加する
• いくつかの成功および失敗シナリオをテストする

意図に焦点を当てる

ビジュアルアサーションが期待通りに動作する可能性を高めるには、特定のデータではなく全体的な意図に焦点を当ててください。この戦略は、チャートやその他の複雑なビジュアルレイアウトを評価する際に特に役立ちます。たとえば、

「週次売上」チャートを分析してください。月曜日から金曜日にかけてデータバーが上昇傾向を示していること、およびエラーアイコンが表示されていないことをアサーションしてください。

AIにどの程度厳密にするかを指示する

適切なアサーションの説明は、過度に具体的にならずに十分に厳密です。

アサーションの説明が曖昧すぎると、実際には不具合や障害が発生しているにもかかわらず、テストが成功してしまう可能性があります。たとえば、「ページが読み込まれた」とアサートした場合、フォームの送信ボタンなど、ページの目的にとって重要なコンポーネントが実際には欠落していても、ページが重大なエラーなしで読み込まれるため、アサーションが成功してしまう可能性があります。

一方で、特定の条件が多すぎたり、複雑な組み合わせがあると、正しく評価することが難しくなる場合があります。必要に応じて、多くの異なるケースや条件を含む複雑なアサーションを、複数のビジュアルアサーションに分割してください。

例を追加する

アサーションの説明の末尾に例を追加して、正確な内容に焦点を合わせてテストを行えるようにします。

• 「たとえば、アサーションは次のような場合に失敗する必要があります：…、…、または…。次のような場合には成功する必要があります：…、…、…」
• 「…のような…または…」
• 「…や…など」

いくつかの成功および失敗シナリオをテストする

生成AIは本質的に非決定論的であるため、ビジュアルアサーションの結果は変動する可能性があります。より信頼性の高いアサーションを構築するには、いくつかの成功および失敗のシナリオをテストし、結果が満足できない場合はアサーションの説明を繰り返し改善してください。

ページが日本語で表示されていることをアサートする必要があるとします。次の例は、結果に基づいてアサーションの説明を記述し直していく過程を示しています。

アサーションの説明では例外が考慮されていなかったため、結果に返される英単語を除外するようにアサーションの説明を修正します:

このフィードバックを受けて、例外を英語で表示することを許可するカテゴリに一般化することにしました。

成功です！次に、翻訳されていない「submit」ボタンがあるページでアサーションをテストすることにしました。アサーションは失敗するはずですが、失敗しません。この失敗したシナリオの結果に基づいて、アサーションの説明を例を含めて再度更新します:

成功です。アサーションは失敗します。これは求めていた結果です。アサーションの説明を記述し直し、成功および失敗シナリオでアサーションをテストすることで、テストの目標を達成するためのアサーションを作成できます。