あらゆるタイプの要素の検索ステップにビジュアル検索のバックアップを追加できるようになりました。これまではクリックアクションに限定されていましたが、テキスト入力、ホバー、キー入力などでもビジュアルフォールバックがサポートされるようになり、静的な要素の検索ステップがUIの変更に強くなります。
仕組み
要素の検索ステップを作成する際に、任意でVisual fallbackを追加できます。対象にしたい要素をドラッグして枠で囲むと、mablが選択した領域の説明を生成します。対象要素の意図が正しく反映されるよう、必要に応じて説明を編集してください。
実行時にアプリのレイアウトが変更され、mablがロケーターでは対象要素を見つけられなくなった場合、ビジュアル検索にフォールバックし、説明を使って要素を特定したうえでアクションを完了します。