エージェント指示を使用することで、 テストオーサリング、 結果分析、 実行時リカバリに関するチームのテスト基準を適用できます。
エージェント指示とは、mablエージェントがタスクを実行する方法を定めるユーザー定義のルールです。ビジネスロジック、アプリケーション固有のニュアンス、ガバナンスルールを、エージェントがすべてのタスクに持ち込むコンテキストに組み込むために活用してください。例を以下に示します。
「変数を作成する際は、常に
prefix_descriptive_nameという命名規則を使用してください。」「チェックアウトアプリケーションでは、カートに商品を追加した後、必ず合計金額を確認してください。」
「失敗したテスト実行を分析する際は、そのテストが不安定かどうかを説明することから回答を始めてください。」
エージェント指示の管理方法や、効果的な指示を書くためのガイドラインについては、引き続きお読みください。
ブラウザテストのみ
エージェント指示は現在、ブラウザテストにのみ適用されます。
エージェント指示の管理
エージェント指示はエージェント > 設定ページにあります。編集権限を持つユーザーであれば、指示の作成、編集、有効化、または無効化が可能です。
スコープ
デフォルトでは、エージェント指示はワークスペースレベルで適用されます。指示を追加または編集する際に、以下のいずれかのエリアにスコープを絞り込むことができます。
- 機能: オーサリング、実行時リカバリ、または結果分析
- アプリケーション:1つ以上のアプリケーション
- 環境:1つ以上の環境
有効化/無効化
エージェント設定ページのオン/オフトグルを使用して、指示を削除せずに無効化できます。無効化された指示は保存されますが、エージェントには送信されません。
エージェント指示を書くためのガイドライン
効果的なエージェント指示を書くことは、1,000文字の上限を埋めるだけではありません。以下のセクションでは、指示を最大限に活用するためのガイドラインを紹介します。
各指示のスコープを意図的に設定する
指示を追加する際は、次の2つの質問を自問してください。
- これはどの機能に属しますか: オーサリング(テスト作成)、実行時リカバリ、または結果分析?
- すべての場所に適用されますか、それとも特定のアプリケーションや環境にのみ適用されますか?
指示のスコープを意図的に設定することで、エージェントのパフォーマンスが向上します。また、スコープを設定した指示はメンテナンスも容易です。アプリケーションの動作が変わった場合、どの指示を見直すべきかがすぐにわかります。
- 悪い例:「カートに商品を追加した後、必ず合計金額を確認してください。」- ワークスペースレベルで適用
- 良い例:「カートに商品を追加した後、必ず合計金額を確認してください。」- オーサリング機能とチェックアウトアプリケーションにスコープを設定
機能に関連した指示を維持する
各エージェント機能には異なる役割があります。オーサリングエージェントはテストステップを生成します。実行時リカバリエージェントは、実行中にステップが失敗した場合の対応方法を決定します。一方にとって有用な指示が、もう一方にとってはノイズになる可能性があります。
指示を特定の機能にスコープする場合は、ガイダンスがその機能の役割に合っていることを確認してください。
- オーサリング:アプリの操作方法、変数の命名規則、含めるまたは避けるべきステップ。エージェントのテストオーサリング機能を念頭に置いてください。
- 実行時リカバリ:予期しないモーダル、ページネーション、または断続的な読み込みの問題への対応方法。
- 結果分析: 特定の失敗パターンの解釈方法、優先すべき失敗、またはアプリの不安定な部分に関するビジネスコンテキスト
「新しい変数にはprefix_descriptive_nameという命名規則を使用する」と記述して実行時リカバリにスコープを設定しても、リカバリエージェントは変数を作成しないため、意味がありません。エージェントが求められていることに沿ったガイダンスを維持してください。
必要に応じて指示を改善する
優れたAIプロンプトワークフローと同様に、エージェントへの指示は、丁寧な反復作業によって改善されます。たとえば、範囲を絞った指示のセットから始め、エージェントの動作を観察し、そこから改善していくことができます。特定の指示が効果的かどうかをテストするには、一時的に無効にして違いが生じるか確認してみてください。