AI クローラーをブロックする robots.txt｜GPTBot・ClaudeBot

AI クローラーは3種類に分けて考える

AI の会社の多くは、用途ごとにクローラーの名前を分けています。robots.txt では名前ごとに止めるかどうかを決められるので、まず役割の違いを押さえておきます。

• 学習用：AI のモデルを作るために、公開されているページを集めるクローラー。止めると、今後の学習データに使われにくくなります。
• AI 検索用：ChatGPT の検索や Perplexity など、AI が回答の中でサイトを紹介・引用するためにページを集めるクローラー。止めると、そうした回答で紹介されにくくなります。
• ユーザーの指示での取得：利用者が「このページを読んで」と頼んだときに、その場でページを開くもの。会社によっては robots.txt の対象外としています。

主な AI クローラーの名前と役割

名前は各社が公開しているもので、新しいクローラーが増えたり名前が変わったりすることがあります。止める前に、各社の公式の案内で最新の名前を確かめてください。

目的別の robots.txt の書き方

1. 1

   AI の学習だけを止めて、検索や AI 検索には出す

   User-agent: GPTBot／User-agent: ClaudeBot／User-agent: Google-Extended／User-agent: Applebot-Extended／User-agent: meta-externalagent／User-agent: CCBot の6行のあとに「Disallow: /」を1行。User-agent: * のグループには手を加えません。いちばん影響の少ない止め方です。

2. 2

   AI 検索での引用も止める

   上の名前に OAI-SearchBot・Claude-SearchBot・PerplexityBot を足します。ChatGPT や Perplexity の回答でサイトが紹介されにくくなるので、AI からの流入を見込んでいるサイトでは慎重に決めます。

3. 3

   一部のフォルダだけ学習に使わせない

   「Disallow: /」の代わりに「Disallow: /members/」「Disallow: /illust/」のように止めたいフォルダだけを書きます。ブログ記事は使ってよいが、イラストや有料記事は使わせたくない、といった分け方ができます。

テスターの「AI クローラーのブロックを作る」では、「学習だけ」「AI 検索も」「全部」から選ぶと、その行をまとめて作れます。作った行を robots.txt に足して、Googlebot は許可・GPTBot はブロック、のように意図どおりの結果になるかを判定で確かめてから公開してください。複数の名前を1つのグループにまとめる書き方はUser-agent の書き方で解説しています。

Google 検索・AI による概要への影響

• Google-Extended を止めても、Google 検索の順位や表示には影響しません。
• Google 検索の「AI による概要」は Google 検索の一部として扱われるため、Google-Extended では止められません。表示されたくないときは、ページの nosnippet などの指定を使います。
• Googlebot を止めると Google 検索そのものからも消えていくので、AI 対策のつもりで Googlebot を止めるのは避けます。
• Applebot-Extended を止めても、Siri や Spotlight の検索に使われる Applebot には影響しません。

robots.txt でできること・できないこと

robots.txt は「このページは取りに来ないでください」というお願いで、強制力はありません。名前を公開して robots.txt を守ると表明している大手のクローラーには効果がありますが、名前を偽るクローラーや robots.txt を読まないクローラーは止められません。

• すでに学習に使われたデータは、robots.txt を書き足しても取り消されません。効果があるのはこれから先の取得です。
• ほかのサイトに転載された文章や、Common Crawl などのデータセットに過去に含まれた分は、自分のサイトの robots.txt では止められません。
• 確実に止めたいなら、サーバーやCDN の設定で特定の User-agent や IP アドレスからのアクセスを拒否する方法もあります。
• ページを検索結果から消すのとクロールを止めるのは別のことです。違いはrobots.txt と noindex の違いで解説しています。

よくある質問

ChatGPT にサイトを学習させないにはどうすればいいですか？

robots.txt に「User-agent: GPTBot」と「Disallow: /」を書きます。OpenAI の学習用クローラーが取得をやめます。ChatGPT の検索での表示に使う OAI-SearchBot は別の名前なので、検索には出したい場合はそのままにします。

Google-Extended を止めると Google 検索の順位は下がりますか？

下がりません。Google-Extended は Gemini などの AI に使うかどうかだけを決める名前で、Google 検索のクロールやランキングには使われません。

AI クローラーを止めると AI 検索に出なくなりますか？

学習用の GPTBot や ClaudeBot だけを止めた場合は、AI 検索用の OAI-SearchBot や Claude-SearchBot は引き続き取得できます。AI 検索用の名前まで止めると、その回答で紹介されにくくなります。

robots.txt に書けば AI の学習を必ず止められますか？

必ずではありません。robots.txt は守るかどうかがクローラーに任されたお願いです。大手の会社のクローラーは守ると表明していますが、すでに集められたデータや、転載先のデータは止められません。