これまでサポート外だったユースケースを広げるために、クリックのステップで「ビジュアル検索」を使えるようになりました。
ブラウザーテストでクリックのステップを記録すると、mabl は対象の要素のテキストベースの属性情報を収集します。多くのページ要素ではこの方法で問題なく機能しますが、地図、キャンバス要素、画像のような、視覚要素が中心の要素に対して操作する場合、テキストベースの属性だけでは正確に対象の要素を特定するのに十分な情報が得られないことがあります。ビジュアル検索は、このギャップに対処するために自然言語の説明を使用します。
ビジュアルクリックのステップを活用できる例として、次のようなものがあります:
- チャートの特定のデータポイントをクリックして、データを深掘りする
- テキスト属性が一意でない視覚的アイコン（例：SVG）とのインタラクション
- 地図上のピンをクリックして、住所が表示されることを検証する
実際の手順
mabl Desktop App バージョン 2.37.5 にアップデートし、Labs ページでクリックステップ向けビジュアル検索を有効にしてください。ワークスペース > Labs
mablトレーナーでWebアプリケーションを起動したら、アプリケーションを正しい状態にしてステップを追加します。+（ステップを追加）> クリック。
ターゲットにしたい範囲をマウスでドラッグします。mabl がターゲット範囲のスクリーンショットをモデルに送信し、モデルがその範囲のAI生成の説明を返します。
生成された要素の説明を確認して、意図が正しいことを確かめてください。必要に応じて説明を修正し、満足できたらステップを保存してください。
実行時に、mabl は生成AIの説明とランタイムでのスクリーンショットをモデルに送り返し、モデルはバウンディングボックスを返してクリック操作を実行します。
制限事項
現在、ビジュアルクリックのステップは、ビューポート外にある対象の要素へ自動でスクロールできません。たとえば、ページ下部にある地図がステップの実行時点で表示されていない場合、mabl はその地図に対してビジュアルクリックを実行できません。
回避策として、近くの要素に対してクリックまたはアサーションを記録できます。これにより、ビジュアルクリックのステップが実行される前に、テストが自動的に正しい領域までスクロールします。
フィードバックを共有する
クリック用のビジュアル検索は mabl Labs で利用できます: ワークスペース > Labs。お試しいただいたら、ぜひ mabl Product Portal でフィードバックをご提出ください。あなたの視点は、あなたとコミュニティのためにより良いプロダクトをつくるうえで大きな助けになります。
ビジュアルアシストの詳細を見る
クリックのステップ向けのビジュアル検索は、ビジュアルアシストとして知られる新しい検出機能スイートの一部です。ビジュアルアシストの機能は、生成AIを使ってUIの要素の見た目を理解し、検出の信頼性を高め、対応できるユースケースを広げます。詳しくは、次の記事をご覧ください。
まもなくリリース予定の、さらにエキサイティングなビジュアルアシストの最新情報にご期待ください。