概要

Googlebotは、Google検索のためにWebページなどを取得するクローラーの総称です。スマートフォン用とパソコン用があり、リクエストのユーザーエージェントで種類を見分けられます。[1]

クロールと検索掲載の関係

Googlebotのアクセスは、ページを調べる段階の動きです。Googleは取得したページを解析し、検索用のデータベースに登録するかを判断します。検索結果への掲載はその後の段階です。[1]

たとえば公開直後の記事へのアクセスログは、Googlebotのリクエストを受けた記録です。登録の状況やGoogleが読み取った指示は、Google Search ConsoleのURL検査などで確認します。[1][2]

Googlebotを識別する情報

ログを読むときは、リクエストに記されたクローラーの種類と、実際の送信元を確認します。[1]

  • 種類。スマートフォン用はモバイル端末、パソコン用はデスクトップの利用を想定したクローラーです。HTTPリクエストのユーザーエージェントで区別します。[1]
  • 送信元。ユーザーエージェントの文字列は他のクローラーも使えます。真正性の確認には、送信元IPとGoogleの公開IP範囲の照合や、DNSの逆引きと正引きによる確認を使います。[1]

サイト側の制御との接点

サイト側の設定は、Googlebotに取得させたいか、取得後に検索へ登録させたいか、閲覧自体を許可したいかで選びます。

  • 取得の制御。Googlebotが取得する範囲は、robots.txtでクローラーに指示します。[3]
  • 登録の制御。取得できるページでnoindexが読み取られると、Googleはそのページを検索結果から除外します。[2]
  • 閲覧範囲の管理。人やクローラーの閲覧を制限する必要があるページには、認証などでアクセスを制御します。[3]

参考文献・出典

  • Supervisor
    supervisor

    桑田 陽介

    代表取締役

    Web制作・運用・改善に20年以上携わり、WordPress、CMS構築、SEO、AWSなど、Webサイトの企画・制作から公開後の運用まで幅広く担当。実務経験にもとづき、本記事の内容・表現・技術情報を監修しています。

Contact us

『ホームページ制作の相談をしたい』『もっとたくさん商品を売りたい』等、ご要望をお伝えくださいませ。

疑問に思っていること、お困りごと、具体的な内容が未定でも、まずはお気軽にご相談くださいませ。