GenAIアサーションが一般利用可能になったことをお知らせできることを嬉しく思います！GenAIアサーションは、テキストコンテンツ、言語分析、視覚的な詳細など、ウェブまたはモバイルアプリケーションのより複雑な側面を検証するのに最適です。
生成AIによるアサーションのプロモーションプログラム
2024年末まで、顧客とトライアルユーザーは特別なプロモーションプログラムの一環として、生成AIによるアサーションを含むテストを実行できます。
- お客様は、生成AIによるアサーションを含む最大1000回のクラウド実行を行うことができます。
- トライアルユーザーは、生成AIによるアサーションを含む最大100回のクラウド実行を行うことができます。
この機能が無効になっている場合、GenAIアサーションを含むテストやプランは、それらのステップが削除されるまで実行できません。テストがデプロイメントエベントの一部として実行される場合、GenAIアサーションを含むテストはスキップされます。
制限が2024年12月31日より前に超過した場合、またはプロモーションプログラムが終了し、mablプランに機能が含まれていない場合、機能は無効になります。GenAIアサーションを含むテストまたはプランは、それらのステップが削除されるまで実行できません。テストがデプロイメントエベントの一部として実行される場合、GenAIアサーションを含むテストはスキップされます。
使ってみる
自分で試してみるには、mablトレーナーでウェブまたはモバイルアプリケーションを起動し、これらのステップに従ってGenAIアサーションを作成してください。
6月にGenAIアサーションを導入して以来、アサーションの条件を含めるようにTrainerの動作を更新しました。このアサーションの条件はアサーションの説明とともにLLMに送信され、アサーションの一部として評価する一貫性のある条件が提供されます。アサーションの説明を記述し直す場合、mablはアサーションの説明の現在の状態を反映してアサーションの条件を更新します。
GAリリースにより、生成AIによるアサーションは、アサーションステップで明示的な基準をキャプチャするようになり、一貫性が向上しました。これらの新たに追加または編集された生成AIによるアサーションは、古いバージョンのDesktop Appとは互換性がありません。生成AIによるアサーションを含むテストを続行するには、チームがmabl Desktop Appバージョン2.18.0以上に更新することを確認してください。
実行の制限
生成AIによるアサーションは、トレーニング時の制限がないため、必要なだけアサーションを記述し直すことができます。ただし、実行時には、次の制限事項に留意してください。
- クラウド実行：GenAIアサーションはテストごとに6つに制限されています。この制限を超えると、テストは失敗します。
- CI RunnerおよびCLIローカル実行: mabl CLIまたはCI Runnerでローカル実行する場合、生成AIによるアサーションは失敗します。
- パフォーマンステスト: パフォーマンステストのコンテキスト内で実行する場合、生成AIによるアサーションは失敗します。
詳細情報
生成AIによるアサーションについて詳しく知りたい方は、以下の記事をご覧ください。
お客様データの保護
mablの生成AI機能は、Google CloudのエンタープライズAIツール上に構築されています。mablおよびmablのサービスパートナーであるGoogle Cloudが、お客様のデータをこれらのモデルのトレーニングに使用することはありません。mablでの生成AIの使用に懸念がある場合は、担当のカスタマーサクセスマネージャーにお問い合わせください。