自動化されたUIテストの多くは、セレクターやクラスなどのテキストベースの属性を使って要素を見つけることに依存しています。しかし、これらの属性だけでは、キャンバス要素やPDF、または一意の属性がない要素など、特定の種類の要素と確実かつ正確にやり取りするには十分でない場合があります。
ビジュアル検索を使うと、AIの力を活用して、DOMやページソースのテキスト属性ではなく、視覚的な特徴に基づいて要素をターゲットにできます。
ビジュアル検索は、現在モバイルテストのタップステップでのみサポートされています。
この記事では、モバイルテストでビジュアル検索を使う方法について説明します。
ビジュアル検索でタップステップをトレーニングする
mablトレーナーでモバイルアプリケーションを起動したら、アプリケーションを正しい状態にして、新しいタップステップを追加してください：+（ステップを追加） タップ。
対象エリアを選択してください
ステップの設定メニューでは、デフォルトで「ビジュアル検索」が選択されています。ターゲットにしたい領域の上にボックスを描くには、クリックしてドラッグしてください。
mablは対象エリアのスクリーンショットを自動的にモデルに送信し、モデルは選択したエリアの生成AIによる説明を返します。mablは生成AIの説明を使ってビジュアル検索を実行し、一致する要素が見つかることを確認します。
画像プレビューでは、mablが実行時に選択したエリアでタップステップを行う場所が表示されます。選択したエリア内の特定の位置をターゲットにしたい場合は、x座標とy座標を調整できます。
説明を確認してください
説明が正しい要素を強調できない場合は、エリアを再選択するか、説明を手動で編集して、もう一度検索をテストしてください。
説明が正しい要素をハイライトしていても、意図が正しいかどうかも確認してください。目的によっては、トレーニング中にモデルが正しい要素を正確にハイライトする説明を生成することがありますが、最終的な意図を反映していない場合があります。
例として、多くのグリッド要素があるアプリを考えてみましょう。
モデルは「中央に「Car 10」と書かれたターコイズ色の丸みを帯びた四角いタイル」という説明を生成し、正しい要素を強調しています。ただし、ページ上の特定の位置にあるタイルをターゲットにしたい場合は、その意図が伝わるように説明文を手動で更新してください（例：「左から2番目、上から3行目の四角」など）。そして、実際にテストしてみましょう。
ステップに満足したら、保存をクリックしてテストに追加してください。
ビジュアル検索でテストを実行する
実行時に、mablは生成AIの説明と実行時のスクリーンショットをモデルに送信し、モデルはバウンディングボックスを返します。タップステップを実行するために、mablはトレーニング時に指定されたバウンディングボックス内のx座標とy座標を使用します。