クローリングを特定のURLに制限する

リンククローラのプランにオプションで「Use strict URL prefix」パラメータを追加すると、クローリングするURLを制限することができます。このパラメータを "true "に設定すると、mablはアプリケーションのベースURLに一致するURLプレフィックスを持つページのみをクロールします。

リンククローラのプランにオプションで「Use strict URL prefix」パラメータを追加すると、クローリングするURLを制限することができます。このパラメータを "true "に設定すると、mablはアプリケーションのベースURLに一致するURLプレフィックスを持つページのみをクロールします。

例えば、ベースURLが「 https://app.example.com 」のアプリケーションの場合、クローラーはベースドメインに「 example.com 」を含むリンク先のページ( www.example.com や docs.example.com を含む)を訪問します。このパラメータを有効にすると、mablは「 https://app.example.com 」で始まるページのみをクロールします。

さらに、プランのURLにサブページを含めることで、mablが訪問するページを制限することができます。プランが「 https://app.example.com/app1/ 」に設定されていて、このパラメータがtrueに設定されている場合、mablは、https://app.example.com/app1/ で始まるリンク先のページのみを訪問します。

注)クローラーのデフォルトの動作についての詳細はこちらをご覧ください。

クローラーを特定のURLプレフィックスに制限する

では、具体的な設定方法を見ていきましょう。

  1. 「Visit all linked pages within the app...」のテストを含むプランを開きます。
  2. Editボタンをクリックします
19251925
  1. STAGEの中にあるテストの「Configure data-driven variables」をクリックします。
20602060
  1. 「ADD PARAMETER」をクリックします。
870870
  1. パラメータのタイプは「mabl Parameter」を選択します。
  2. Nameは「Use strict URL prefix」を選択します。
  3. Valueは「true」を選択します。
  4. DONEをクリックします。
878878

この状態でPlanを保存してください。これで設定は完了です。