これまで対応していなかったユースケースに対応するため、モバイルテストのトレーニングに新しいオプション「ビジュアル検索」をご用意しました。
自動化されたモバイルテストを作成したことがある方なら、特定のUIコンポーネントでテキストベースのセレクターだけに頼るのがどれほど難しいか、ご存じかもしれません。ページソース内のテキストベースの属性を使う代わりに、ビジュアル検索は生成AIを活用して、視覚的な特徴に基づいて正しい要素を見つけます。
現在、モバイルのタップステップでサポートされているビジュアル検索は、画像やキャンバス要素など、ページソースに表示されないピクセルベースのコンテンツとやり取りする際に特に役立ちます。
実際の手順
必ずmabl Desktop Appをバージョン2.25.0以降にアップデートしてください。
mablトレーナーでモバイルアプリケーションを起動したら、アプリケーションを正しい状態にして、タップステップを追加してください: +（ステップを追加）> タップ。ターゲットにしたい範囲をマウスでドラッグしてください。mablがその範囲のスクリーンショットをモデルに送信し、モデルがターゲット範囲のAI生成による説明を返します。
必要に応じてステップを修正し、ステップに満足したら保存をクリックしてください。
実行時に、mablは生成AIの説明と実行時のスクリーンショットをモデルに送信し、モデルはバウンディングボックスを返します。タップステップを実行するために、mablはトレーニング時に指定されたバウンディングボックス内のx座標とy座標を使用します。
ビジュアル検索を使ってタップステップを作成する方法について、さらに詳しく知りたい場合は、ヘルプドキュメントをご覧ください。
ビジュアルアシスト
ビジュアル検索は、ビジュアルアシストの最初のリリースです。ビジュアルアシストは、生成AIを活用してUI要素の見た目を理解し、対応できるユースケースを広げ、テスト実行時の信頼性を向上させる新しい機能群です。
今後もさらに魅力的なビジュアルアシストのリリースを予定していますので、ご期待ください。