概要

robots.txtは、サイトのどのURLを取得してよいかをクローラーに伝えるテキストファイルです。Googleは、このファイルをサイトのルートにある/robots.txtから取得し、同じプロトコル、ホスト、ポートのURLにルールを適用します。[1][3]

どのアクセスに適用するか

ルールは、対象のクローラーと、取得を許可・制限するURLの範囲を組み合わせて指定します。Googleではuser-agentが対象を選び、allowとdisallowが対象のURLパスを指定します。[1][3]

たとえば商品一覧の一部だけを対象にするつもりなら、対象外のURLまで同じパスの指定に当てはまらないかを確認します。

検索結果から外す手段との違い

Googleが取得できないページでも、外部リンクなどからURLを知れば、URLが検索結果に出ることがあります。[1]取得を制限したページでは、本文にあるnoindexもGoogleが読めません。[2]

情報保護と運用上の注意

変更後は、意図したURLとクローラーにルールが適用されるかを確認します。

  • 公開ファイル。robots.txtに書いたパスは、ファイルを閲覧すれば分かります。非公開の情報は、認証などで閲覧を制限します。[1]
  • 誤ブロック。公開したいページや、その表示に必要なファイルも対象に入っていないかを確認します。[1]
  • サービスごとの解釈。クローラーによって対応や解釈が異なるため、対象サービスの仕様で確認します。[1]

参考文献・出典

  • Supervisor
    supervisor

    桑田 陽介

    代表取締役

    Web制作・運用・改善に20年以上携わり、WordPress、CMS構築、SEO、AWSなど、Webサイトの企画・制作から公開後の運用まで幅広く担当。実務経験にもとづき、本記事の内容・表現・技術情報を監修しています。

Contact us

『ホームページ制作の相談をしたい』『もっとたくさん商品を売りたい』等、ご要望をお伝えくださいませ。

疑問に思っていること、お困りごと、具体的な内容が未定でも、まずはお気軽にご相談くださいませ。