エンドツーエンドテストのシナリオを網羅できるように、mablトレーナーはあなたのアプリからのファイルダウンロードを検出し、アサーションを自動で追加します。既定では、トレーナーはダウンロードされたファイル名に対してアサートしますが、アサーションを編集して、ファイルの内容やその他のメタデータを検証することもできます。
この記事では、Trainer でダウンロードのアサーションを扱う方法を、次の内容を含めて説明します。
Trainerでのダウンロードアサーションステップ
ファイルのメタデータにアサーションを追加
ファイル名、ファイルタイプ、ファイルサイズなどのファイルメタデータに対してアサートするには、アサーションを編集をクリックします。あるいは、ダウンロードのアサーションのステップにある編集用の鉛筆アイコンをクリックします。
動的に生成されるファイル名
ダウンロードされるファイルの名前を動的に生成するアプリケーションの場合、ファイルがダウンロードされたことをアサートするために、次のいずれかのワークフローを試すことができます。
-
mabl の変数構文を使う - ファイル名の生成方法がわかっている場合、またはダウンロード前にページからファイル名を抽出できる場合は、ファイル名を変数に保存し、mabl の変数構文を使ってそのファイル名に対してアサートします。たとえば、
{{@filename}}のように指定します。 - ファイル名のアサーションを削除する - ダウンロード前にファイル名が分からない場合は、ダウンロードのアサーションからファイル名を外し、MIME タイプやファイルサイズなど、ほかの属性でアサートしてください。
ダウンロードアサーションでのmabl変数構文の使用
ファイル名に対するアサーションの制限事項
- ダウンロードのアサーションは現在、ファイル名内での部分一致やワイルドカード（
*）の使用に対応していません。 - アクセント付き文字を含むファイル名では、ダウンロード用のアサーションはサポートされていません。
ファイル内容にアサートする
ダウンロードしたファイルの内容は、生成AIアサーションでも検証できます。スプレッドシート、画像、PDF、音声、動画など、一般的なファイル形式に対応しています。
早期アクセス
ファイルダウンロード向けの生成AIアサーションは、現在、すべてのmablのお客様とトライアルユーザーが早期アクセスでご利用いただけます。アクセスは、Labsページから可能です。
一般提供の前には、予告なく機能が変更される場合があります。
ダウンロードしたファイルの内容をアサートするには、ダウンロードアサーションのステップを編集します。検証したい内容を自然言語で説明するプロンプトを入力してください。ファイル内容を確認するには、View file をクリックします。アサーションをテストする準備ができたら、Test assertion をクリックします。
アサーションを最初にテストすると、mabl はアサーション基準を生成します。これらの基準は、アサーションの説明と一緒に LLM に送られ、アサーションの一部として評価するための一貫した基準セットを提供します。アサーションの説明を反復して更新すると、mabl は説明の現在の状態を反映するようにアサーション基準を更新します。
ファイルダウンロード用の生成AIアサーションをテストする
スクリーンショットとビューポート
ファイルのダウンロードに対してアサーションを行う場合、生成AIアサーションには、ダウンロードしたファイルの内容と、そのファイルをダウンロードした元のページのスクリーンショットの両方が含まれます。ページのスクリーンショットを使うと、ファイルとアプリ全体にまたがるデータに対して検証を作成できます。たとえば、スプレッドシートのファイルデータが、現在のページに表示されている製品情報と一致していることをアサートできます。
スクリーンショットには、現在ビューポートに表示されているページの範囲のみが含まれる点に注意してください。ビューポート内で完全に見えていない要素にアサーションを行うと、画面外の部分は評価に含まれません。ウィンドウサイズを変更するには、アサーションの前に「ビューポートの設定」のステップを追加してください: + (ステップを追加) > ビューポートの設定.
実行の制限
生成AIによるアサーションは、トレーニング時の制限がないため、必要なだけアサーションを記述し直すことができます。ただし、実行時には、次の制限事項に留意してください。
- テストごとの上限： 生成AIアサーションは、1テストあたり30件までです。
- パフォーマンステスト: パフォーマンステストのコンテキスト内で実行する場合、生成AIによるアサーションは失敗します。
ダウンロードアサーションの再生
Trainer でダウンロードのアサーションをリプレイするには、ダウンロードを開始するクリックのステップ直前に Trainer のカーソルを移動し、再生をクリックします。Trainer は、繰り返しダウンロードされたファイルに付与される番号を自動的に省略し、アサーションの比較では foo (1).zip を foo.zip として扱います。この機能により、手動でファイルをクリーンアップすることなく、リプレイによるテストが行えます。
Chromeの制限により、ファイルのダウンロードは100回までです。mablトレーナーでダウンロードステップの再生が100回を超えると、ダウンロードを行うたびにChromeでファイル保存モーダルが自動的に開くため、それ以上ダウンロードステップの再生はできません。再生機能を復元するには、ダウンロードされたファイルをマシンから削除してください。
制限事項
テストでファイルをダウンロードする際の次の制限事項に注意してください。
- ファイルのアサーションは、記録したクリックのステップでサポートされています。CSS または XPath を使用するクリックのステップでは、ダウンロードのアサーションはトリガーされません。
- Trainer は、複数のダウンロードを並行して検証できません。
- mabl は、各トレーニングセッションやテスト実行の最後に、ダウンロードしたファイルを自動的にクリーンアップします。 このため、トレーニングセッションの外でダウンロードしたファイルの内容を手動で確認することはできません。
- ダウンロードアサーションのタイムアウトまでの待機時間は最長30秒です。ダウンロードがデフォルトの30秒のダウンロードタイムアウトより長くかかる場合は、ダウンロードアサーションの前にwaitステップを追加してください。
次の機能のいずれかがあなたのチームにとって重要であれば、mabl Product Portalでお知らせください。