より多くのエンドツーエンドテストのシナリオをカバーできるよう、ファイルダウンロードに対する生成AIのアサーションを提供します。mabl Desktop App バージョン 2.35.25 の開始以降、スプレッドシート、画像、PDF、音声、動画などの一般的なファイル形式について、Webアプリからダウンロードした内容を生成AIのアサーションで検証できます。たとえば、
- ダウンロードした CSV の売上レポートに列が 12 個あること、また「Total Revenue」列に正の数値のみが含まれていることを検証します。
- ダウンロードした音声トラックに「バックグラウンドのノイズがなく、トラックの長さが3:00〜3:30の間である」ことをアサーションする。
- 作成された請求書のフッターに、必要な法的免責事項の文言が表示されていることを確認します。
これまで、ダウンロードのアサーションは、ファイル名、ファイルタイプ、ファイルサイズといったメタデータの検証に限られていました。ビジュアルアサーションを使うと、ダウンロードしたファイルの内容を検証できるうえ、ダウンロード元ページのスクリーンショットと比較することもできます。このタイプのアサーションにより、内容が正確で、コンプライアンスに適合し、正しい形式であることを担保する、より複雑な検証が可能になります。
早期アクセス
ファイルダウンロードに対するビジュアルアサーションは、現在すべてのmablのお客様とトライアルユーザー向けに、Labsページからアーリーアクセスとしてご利用いただけます。
一般提供前は、予告なく機能に変更を加える場合があります。
実際の手順
試す前に、mabl Desktop App バージョン 2.35.25 以降を使用していることを確認してください。次に、アプリの Labs ページで生成AI Download Assertionsが有効になっていることを確認してください： Settings > Labs。今有効にした場合は、変更を完全に反映させるためにアプリを終了して再起動する必要があるかもしれません。
mablトレーナーでWebアプリケーションを開き、記録ボタンをオンにした状態で、アプリケーション内でファイルのダウンロードを開始します。アプリケーション内でテストに適した例がない場合は、mabl Sandbox の例を試せます。https://sandbox.mabl.com/downloads-pdfs。
ダウンロードが完了すると、Trainer は自動的にダウンロードのアサーションのステップを追加し、次のステップを選ぶよう促します。
- アサーションを編集 - ダウンロードしたファイルのメタデータに対する既存のアサーションを編集するか、ダウンロードしたファイルの内容にビジュアルアサーションを追加します
- スキップ - ダウンロードのアサーションはそのままにして、トレーニングを続行します
ダウンロードしたファイルのメタデータやコンテンツに対するアサーションを編集・追加するには、アサーションを編集 をクリックします。
コンテンツをアサーションするには、検証したい内容を自然言語で説明するプロンプトを入力してください。ファイルの内容を確認する必要がある場合は、View file をクリックします。アサーションのチェックを実行する準備ができたら、Test assertion をクリックしてください。
アサーションを最初にテストすると、mabl はアサーションの基準を生成します。これらの基準はアサーションの説明とともに LLM に送信され、アサーションの一部として評価するための一貫した基準セットを提供します。アサーションの説明を繰り返し改善すると、mabl はその時点の説明内容を反映するようにアサーションの基準を更新します。
テストがクラウドで実行されると、特定のステップのテスト出力ログ内にある mabl アクティビティ タブで、ビジュアルアサーションの結果を確認できます
制限事項
実行上の制限
ダウンロードアサーションを含む、すべてのビジュアルアサーションには次の実行上の制限があります。
- テストごとの上限：ビジュアルアサーションはテストごとに30件までです。この上限を超えると、そのテストは失敗します。
- パフォーマンステスト: パフォーマンステストのコンテキスト内で実行する場合、生成AIによるアサーションは失敗します。
スクリーンショットとビューポートサイズ
ファイルのダウンロードに対してアサーションを行う場合、ビジュアルアサーションには、ダウンロードしたファイルの内容と、そのファイルをダウンロードしたページのスクリーンショットの両方が含まれます。ページのスクリーンショットを使うと、ファイルとアプリを横断したデータのバリデーションを作成できます。たとえば、スプレッドシートのファイルデータが、現在のページで表示されている製品情報と一致していることをアサートできます。
スクリーンショットには、ビューポート内で現在表示されているページの範囲だけが含まれます。ビューポート内で完全に表示されていない対象に対してアサーションを行うと、画面外の部分は評価に含まれません。ウィンドウのサイズを変更するには、アサーションの前に「set viewport」ステップを追加してください。