概要

AIクローラーは、AIを使うサービスのためにWeb上の情報を取得するボットを指す呼び名です。検索用の自動取得、学習に使われ得る情報の取得、利用者の操作に伴う取得では、目的や制御の範囲が異なります。[1][2]

OpenAIの検索・学習・ユーザー起点の取得を分ける

OpenAIの公式一覧には、広告の確認に用いるOAI-AdsBotも載っています。ここでは、検索、学習、利用者の操作に伴う取得に関わる3つを取り上げます。[1]

エージェント

主な用途

起点・制御の注意

OAI-SearchBot[1]

ChatGPTの検索結果にサイトを表示するための取得[1]

検索用の自動取得。GPTBotとは別に許可を設定[1]

GPTBot[1]

生成AI基盤モデルの学習に使われ得るコンテンツの取得[1]

学習用のクロール。検索用とは別に設定[1]

ChatGPT-User[1]

ユーザー操作に伴うWebページ取得[1]

自動クロールではない。robots.txtが適用されない場合がある[1]

現行の制御で対象と範囲を分ける

Googleの現行設定は、どの用途に対する指示かを確認して選びます。Search generative AI control(日本語の画面では「検索の生成 AI 設定」)は、Google検索などの対象となる生成AI機能でサイトの情報が使われる範囲を管理する設定です。[3][4]

制御

対象

対象外・注意

Search generative AI control[4]

Google検索・Discoverの生成AI機能での表示や利用[4]

AI学習や通常検索全体の掲載を停止する設定ではない[4]

Google-Extended[2]

公式文書が列挙するGemini等の学習・グラウンディング利用[2]

独立HTTP UAではなく、検索登録やランキングの切替でもない[2]

robots.txt[5]

対応するクローラーによる対象URLの取得[5]

検索登録の削除や認証による情報保護の代用ではない[5][6]

Googleは2026年10月30日、複数のAI事業者に学習の希望を伝える共有設定への対応計画を発表しました。Googleが目指す対応時期は2027年です。[7]

ログ・設定と公式仕様を照合する

サイトへのアクセスを確認するときは、ログに出る取得主体と、設定が管理する用途を照合します。

  • 提供元と目的。ChatGPT Searchのための取得と、モデルの学習に使われ得る情報の取得は、公式一覧で別の目的として案内されています。[1]
  • 利用者の操作に伴う取得。ChatGPT-Userは利用者の操作が起点で、robots.txtのルールが適用されない場合があります。[1]利用者の閲覧も制限したい情報は、認証などでアクセス範囲を管理します。
  • 設定の対象。Google-Extendedは用途を指定するトークンです。[2]対象の生成AI機能への表示や利用を管理したい場合は、Search generative AI controlが対象とする機能を確認します。[4]
  • Supervisor
    supervisor

    桑田 陽介

    代表取締役

    Web制作・運用・改善に20年以上携わり、WordPress、CMS構築、SEO、AWSなど、Webサイトの企画・制作から公開後の運用まで幅広く担当。実務経験にもとづき、本記事の内容・表現・技術情報を監修しています。

Contact us

『ホームページ制作の相談をしたい』『もっとたくさん商品を売りたい』等、ご要望をお伝えくださいませ。

疑問に思っていること、お困りごと、具体的な内容が未定でも、まずはお気軽にご相談くださいませ。