Contact us
『ホームページ制作の相談をしたい』『もっとたくさん商品を売りたい』等、ご要望をお伝えくださいませ。
疑問に思っていること、お困りごと、具体的な内容が未定でも、まずはお気軽にご相談くださいませ。
AIクローラーは、AIを使うサービスのためにWeb上の情報を取得するボットを指す呼び名です。検索用の自動取得、学習に使われ得る情報の取得、利用者の操作に伴う取得では、目的や制御の範囲が異なります。[1][2]
OpenAIの公式一覧には、広告の確認に用いるOAI-AdsBotも載っています。ここでは、検索、学習、利用者の操作に伴う取得に関わる3つを取り上げます。[1]
エージェント | 主な用途 | 起点・制御の注意 |
|---|---|---|
OAI-SearchBot[1] | ChatGPTの検索結果にサイトを表示するための取得[1] | 検索用の自動取得。GPTBotとは別に許可を設定[1] |
GPTBot[1] | 生成AI基盤モデルの学習に使われ得るコンテンツの取得[1] | 学習用のクロール。検索用とは別に設定[1] |
ChatGPT-User[1] | ユーザー操作に伴うWebページ取得[1] | 自動クロールではない。robots.txtが適用されない場合がある[1] |
Googleの現行設定は、どの用途に対する指示かを確認して選びます。Search generative AI control(日本語の画面では「検索の生成 AI 設定」)は、Google検索などの対象となる生成AI機能でサイトの情報が使われる範囲を管理する設定です。[3][4]
制御 | 対象 | 対象外・注意 |
|---|---|---|
Search generative AI control[4] | Google検索・Discoverの生成AI機能での表示や利用[4] | AI学習や通常検索全体の掲載を停止する設定ではない[4] |
Google-Extended[2] | 公式文書が列挙するGemini等の学習・グラウンディング利用[2] | 独立HTTP UAではなく、検索登録やランキングの切替でもない[2] |
robots.txt[5] | 対応するクローラーによる対象URLの取得[5] | 検索登録の削除や認証による情報保護の代用ではない[5][6] |
Googleは2026年10月30日、複数のAI事業者に学習の希望を伝える共有設定への対応計画を発表しました。Googleが目指す対応時期は2027年です。[7]
サイトへのアクセスを確認するときは、ログに出る取得主体と、設定が管理する用途を照合します。
『ホームページ制作の相談をしたい』『もっとたくさん商品を売りたい』等、ご要望をお伝えくださいませ。
疑問に思っていること、お困りごと、具体的な内容が未定でも、まずはお気軽にご相談くださいませ。
Web制作・運用・改善に20年以上携わり、WordPress、CMS構築、SEO、AWSなど、Webサイトの企画・制作から公開後の運用まで幅広く担当。実務経験にもとづき、本記事の内容・表現・技術情報を監修しています。