mabl では、より直感的でインテリジェントなテスト作成インターフェースを提供することに、継続的にコミットしています。そのコミットメントに基づく新たな機能として、ビジュアルアサーションが早期アクセスで利用可能になりました！
ビジュアルアサーションを使用すると、テキストと視覚的詳細の両方を含むような、より複雑な内容を検証するケースにまで、テストカバレッジを拡大することができます。
ビジュアルアサーションは、現在、早期アクセスプログラムとして、mablをご利用の全てのお客様にご利用いただけます。興味のある方は、mabl のカスタマーサクセスマネージャまでお問い合わせください。
早期アクセス中は、一般公開に先立ち、予告なく機能が変更される場合があります。
ビジュアルアサーション作成の詳細については、こちらをご参照ください：
使ってみる
作業を開始する前に、mablデスクトップアプリケーションの Help > Check for updates メニューから、デスクトップアプリケーションを最新バージョンに アップデートしてください。
早期アクセス期間中、ワークスペースの所有者(OWNER) は、ワークスペース メニューの Labsページでビジュアルアサーションを有効にできます。
ビジュアルアサーションを作成するには、mabl トレーナーでWebアプリケーションを開き、アプリケーションをアサーション設定の直前の状態にします。その後、以下の手順を実行します：
- mablトレーナー のウィンドウ下部にあるチェックマークのアイコンをクリックして、新しいアサーションを作成します。
- アサーションを設定したい、ページ上の要素を選択します。
ページ全体または特定の要素を対象とするには、mablトレーナーが対象の要素をハイライトするまで、[SHIFT]キーを押しながら上下の矢印キーを使用して、重なっている要素を移動します。ターゲット要素をクリックする前に[SHIFT]キーを離します。 - アサーションメニューのAIタブをクリックします。
- アサーションの説明 フィールドに、検証する内容を記述します。アサーションの記述のヒントや例については、次の「優れたアサーションの作成」を参照してください。
- テストアサーション ボタンをクリックし、動作を確認します。アサーションが正しく評価されることを確認し、望ましい結果が得られるまで、アサーションの記述を変えながら繰り返します。
- アサーション失敗時の動作を選択します。デフォルトでは、AI アサーションは 「テスト終了時に失敗にする」 に設定されます。
- OK をクリックします。
ビジュアルアサーションを実行すると、mablトレーナーは、アサーションの説明と、アサーションの評価に関する一般的な情報、予想されるレスポンス形式、および要素のスクリーンショットとを組み合わせます。生成 AI モデルがこの入力を評価し、現在の状況でアサーションを合格とすべきか失敗とすべきかを判断します。
ビューポートとAIアサーション
ビジュアルアサーションに含まれるスクリーンショットは、ビューポートに現在表示されている要素の一部分のみです。
- 長いテーブルなど、ビューポートに完全に表示されていない要素にアサーションを設定する場合、要素の下半分はプロンプトに含まれません。
- ビジュアルアサーションのウィンドウサイズを変更するには、「ビューポートの設定」ステップを追加します
クラウド実行では、ステップのテスト出力ログの mabl アクティビティ タブで ビジュアルアサーションの結果を確認できます。生成 AI は本質的に非決定的(non-deterministic) なため、ビジュアルアサーションの結果は実行のたびに変わることがあります。
ビジュアルアサーションのテスト実行ログの例
良いアサーションの書き方
ビジュアルアサーションが期待通りに動作する可能性を高めるために、以下のヒントを参考にしてください：
- アサーションの意図を、簡潔かつ明確に記述する
- よりシンプルで一般的な表現を使う
- 考えをより一般的に表現し、いくつかの例を含めるようにする
- 正しく評価することが困難な、多すぎる特定の基準や複雑な基準の組み合わせの記述は避ける。多くの異なるケース・基準を含むような複雑なアサーションは、複数のアサーションに分割することをお勧めします
ビジュアルアサーションのサンプル
生成AI によるアサーションが実現できることを説明するために、以下のアサーションのサンプルを考えてみましょう：
テキストの内容と言語的な分析
- このページに英語のテキストがないことを確認する。このページのテキストはすべて日本語でなければならない。
- この文字列が、Xの正しいスペイン語訳であることを確認する
- リストのすべての項目に説明があることを確認する
- ソーシャルメディアの投稿のトーンがプロフェッショナルなものであることを確認する
視覚的特徴の確認
- "Welcome to mabl!"を含むヘッダーが "Start free trial "ボタンの上にあることを確認する
- [拒否]ボタンが有効になっていることを確認する
- リスト項目がすべて左揃えになっていることを確認する
- 在庫切れの商品を示す行がグレーアウトしていることを確認する
制限事項
早期アクセス期間中、ビジュアルアサーションは1テストにつき3つまでに制限されます。また、プラン実行とデプロイメントでは、テストの並列実行のうちビジュアルアサーションは20回以下にする必要があります。この制限を超えると、ワークスペースでこの機能が無効になることがあります。この制限を超えないようにするため、ログインフロー、ループ、その他よく使われるフローではビジュアルアサーションを使わないことをお勧めします。
ビジュアルアサーションは、当初、ブラウザテストでのみサポートされます。後日、モバイルアプリテストでもビジュアルアサーションをサポートする予定です。
以下のテストについて、ビジュアルアサーションはサポートされていません：
- mabl CLI でトリガーされる、テストのローカル実行
- パフォーマンステスト実行の一部として実行されるテスト
モデルは英語で書かれたプロンプトについて検証されています。英語以外の言語で書かれたプロンプトについて、英語と同等の結果が保証されていません。
フィードバックをお寄せください
早期アクセス期間中、ぜひフィードバックをお寄せください。テスト結果詳細ページの「ログ」タブの横にある Feeback ボタンか、 mabl プロダクトポータルから、フィードバックをお寄せください。
皆様やコミュニティに使いやすいものとなるよう、皆様からのご意見をより良い製品開発の参考とさせていただきます！
ビジュアルアサーションに関するフィードバックはここからお寄せください。
mabl における生成AI
組織によっては、生成AIの使用に制限やポリシーがあることを認識しております。mabl のこれらの機能は、Google CloudのAIツールの上に構築されており、その利用規約では、Googleの一般的なAIモデルのトレーニングにお客様のデータを使用することはできません。さらに、弊社の生成AI機能は、ワークスペースをまたいで顧客データをAIのトレーニングに使用したりすることはありません。
これらの変更またはmablにおける生成AIの使用についてご懸念を持たれている場合、カスタマーサクセスマネージャーにお問い合わせください。