Search Console の robots.txt テスターはどこにいきましたか？

Google Search Console の robots.txt テスターは 2023年12月に提供が終わり、代わりに「設定」の中の「robots.txt レポート」になりました。レポートでは robots.txt を取得できたかやエラーの行は分かりますが、URL を入れてブロックされるかを試す機能はありません。URL ごとの判定は、このツールか、URL 検査ツール（公開中の URL のみ）で確かめられます。

Allow と Disallow の両方に一致したら、どちらが優先されますか？

Google は、パターンがいちばん長い（具体的な）ルールを使います。たとえば「Disallow: /blog/」と「Allow: /blog/public/」なら、/blog/public/a.html は長いほうの Allow が勝って許可です。同じ長さのときは Allow（制限の少ないほう）を使います。書いた順番は関係ありません。

User-agent: * と User-agent: Googlebot の両方を書くとどうなりますか？

Googlebot は自分の名前のグループだけを使い、「User-agent: *」のグループのルールは一切使いません。「*」でブロックしているパスを Googlebot にも止めたいときは、Googlebot のグループにも同じ Disallow を書く必要があります。

robots.txt の * と $ はどういう意味ですか？

「*」は0文字以上のどんな文字にも一致し、「$」はパターンの最後に置いたときだけ「URL の終わり」を意味します。「Disallow: /*.pdf$」は .pdf で終わる URL を止め、/a.pdf?download=1 のようにあとにクエリが続く URL は止めません。パターンの末尾の「*」は意味がなく、「/fish*」は「/fish」と同じです。

Disallow: /fish と Disallow: /fish/ は違いますか？

違います。「/fish」は前方一致なので、/fish.html や /fishheads も止めます。「/fish/」はフォルダの中だけを止め、/fish や /fish.html は止めません。

robots.txt でブロックすれば検索結果から消えますか？

消えるとは限りません。robots.txt はクロールを止めるだけなので、ほかのページからリンクされている URL は、中身なしで検索結果に出ることがあります。検索結果から消したいときは、ページに noindex を入れ、そのページは robots.txt でブロックしないでください。ブロックすると Googlebot が noindex を読めません。

ChatGPT や Claude などの AI にサイトを学習させないようにするには？

robots.txt で、OpenAI の GPTBot、Anthropic の ClaudeBot、Google の Google-Extended、Apple の Applebot-Extended、Common Crawl の CCBot などを「Disallow: /」でブロックします。Google-Extended と Applebot-Extended を止めても、Google 検索・Apple の検索での表示には影響しません。OAI-SearchBot や Claude-SearchBot、PerplexityBot は AI の検索の回答に使うクローラーなので、止めるとその回答で紹介されにくくなります。

Crawl-delay を書けば Googlebot のクロールを遅くできますか？

できません。Google は Crawl-delay を読みません。Googlebot はサーバーの応答の速さやエラーに合わせて自動で頻度を調整します。Bing や Yandex は Crawl-delay を読みます。

日本語の URL は robots.txt にどう書けばいいですか？

「Disallow: /カテゴリ/」のように日本語のまま書いても、「Disallow: /%E3%82%AB%E3%83%86%E3%82%B4%E3%83%AA/」のように %エンコードして書いても、Google は同じものとして扱います。ファイルは UTF-8 で保存してください。このツールも両方の書き方を同じ URL として判定します。

robots.txt テスター｜URL がブロックされるかの判定・書き方チェック・AI クローラーのブロック生成

Search Console の robots.txt テスターがなくなったあとの代わりに使える、robots.txt の確認ツールです。robots.txt の中身と確かめたい URL を貼りつけると、Googlebot・Googlebot-Image・AdsBot-Google・Bingbot・Applebot や、GPTBot・ClaudeBot・Google-Extended・PerplexityBot などの AI クローラーごとに、許可かブロックかと、その決め手になったルール（行番号）を表示します。判定は Google と同じく「いちばん長く一致したルールが勝ち、同じ長さなら Allow」「名前を書いたグループがあれば User-agent: * は使わない」「* と末尾の $」「日本語の URL」のルールで行います。全角の「：」、URL を書いた Disallow、User-agent より前のルール、Googlebot-Images のような名前の間違い、サポートの終わった Noindex、Google が読まない Crawl-delay などの書き方のチェックと、AI の学習だけを止める robots.txt の生成、* と $ の早見表つき。

1. robots.txt を貼りつける

サイトの「https://ドメイン/robots.txt」を開いて中身をコピーし、ここに貼りつけます。公開前の書きかけでも試せます。Google と同じ読み方（いちばん長く一致したルールが勝つ・同じ長さなら Allow）で判定します。

サンプル:

robots.txt の中身

5行・111バイト（Google が読むのは先頭の 500KiB まで）・グループ 1個・Sitemap 1件

2. 確かめたい URL とクローラー

URL は1行に1つ（https:// からでも、/blog/ のようなパスだけでも可）。最大50件まで判定します。

URL・パス（1行に1つ）

Google

ほかの検索エンジン

3. 判定の結果

URL	Googlebot	Googlebot-Image	Google-Extended	Bingbot	GPTBot	ClaudeBot
https://example.com/	許可	許可	許可	許可	許可	許可
https://example.com/wp-admin/	ブロック	ブロック	ブロック	ブロック	ブロック	ブロック
https://example.com/wp-admin/admin-ajax.php	許可	許可	許可	許可	許可	許可
https://example.com/wp-admin-guide/	許可	許可	許可	許可	許可	許可

https://example.com/判定に使うパス: /

許可
GooglebotGoogle 検索
User-agent: * のグループに一致するルールがないので許可です。
使ったグループ: User-agent: *（1行目）
許可
Googlebot-ImageGoogle 画像検索
User-agent: * のグループに一致するルールがないので許可です。
使ったグループ: User-agent: *（1行目）
Googlebot-Image のグループがなければ Googlebot のグループに従います。
許可
Google-ExtendedGemini の学習・回答への利用
User-agent: * のグループに一致するルールがないので許可です。
使ったグループ: User-agent: *（1行目）
Google-Extended はクローラーではなく、Googlebot が取得したページを Gemini などの生成 AI に使ってよいかを決める名前です。ブロックしても Google 検索の順位・表示には影響しません。
許可
BingbotBing 検索
User-agent: * のグループに一致するルールがないので許可です。
使ったグループ: User-agent: *（1行目）
許可
GPTBotOpenAI の学習
User-agent: * のグループに一致するルールがないので許可です。
使ったグループ: User-agent: *（1行目）
許可
ClaudeBotAnthropic（Claude）の学習
User-agent: * のグループに一致するルールがないので許可です。
使ったグループ: User-agent: *（1行目）

https://example.com/wp-admin/判定に使うパス: /wp-admin/

ブロック
GooglebotGoogle 検索
「Disallow: /wp-admin/」（2行目）に一致しました。
使ったグループ: User-agent: *（1行目）
ブロック
Googlebot-ImageGoogle 画像検索
「Disallow: /wp-admin/」（2行目）に一致しました。
使ったグループ: User-agent: *（1行目）
Googlebot-Image のグループがなければ Googlebot のグループに従います。
ブロック
Google-ExtendedGemini の学習・回答への利用
「Disallow: /wp-admin/」（2行目）に一致しました。
使ったグループ: User-agent: *（1行目）
Google-Extended はクローラーではなく、Googlebot が取得したページを Gemini などの生成 AI に使ってよいかを決める名前です。ブロックしても Google 検索の順位・表示には影響しません。
ブロック
BingbotBing 検索
「Disallow: /wp-admin/」（2行目）に一致しました。
使ったグループ: User-agent: *（1行目）
ブロック
GPTBotOpenAI の学習
「Disallow: /wp-admin/」（2行目）に一致しました。
使ったグループ: User-agent: *（1行目）
ブロック
ClaudeBotAnthropic（Claude）の学習
「Disallow: /wp-admin/」（2行目）に一致しました。
使ったグループ: User-agent: *（1行目）

https://example.com/wp-admin/admin-ajax.php判定に使うパス: /wp-admin/admin-ajax.php

許可
GooglebotGoogle 検索
一致したルールのうち、いちばん長い「Allow: /wp-admin/admin-ajax.php」（3行目）を使います。書いた順番は関係ありません。
使ったグループ: User-agent: *（1行目）
ほかに一致したルール: Disallow: /wp-admin/（2行目）
許可
Googlebot-ImageGoogle 画像検索
一致したルールのうち、いちばん長い「Allow: /wp-admin/admin-ajax.php」（3行目）を使います。書いた順番は関係ありません。
使ったグループ: User-agent: *（1行目）
ほかに一致したルール: Disallow: /wp-admin/（2行目）
Googlebot-Image のグループがなければ Googlebot のグループに従います。
許可
Google-ExtendedGemini の学習・回答への利用
一致したルールのうち、いちばん長い「Allow: /wp-admin/admin-ajax.php」（3行目）を使います。書いた順番は関係ありません。
使ったグループ: User-agent: *（1行目）
ほかに一致したルール: Disallow: /wp-admin/（2行目）
Google-Extended はクローラーではなく、Googlebot が取得したページを Gemini などの生成 AI に使ってよいかを決める名前です。ブロックしても Google 検索の順位・表示には影響しません。
許可
BingbotBing 検索
一致したルールのうち、いちばん長い「Allow: /wp-admin/admin-ajax.php」（3行目）を使います。書いた順番は関係ありません。
使ったグループ: User-agent: *（1行目）
ほかに一致したルール: Disallow: /wp-admin/（2行目）
許可
GPTBotOpenAI の学習
一致したルールのうち、いちばん長い「Allow: /wp-admin/admin-ajax.php」（3行目）を使います。書いた順番は関係ありません。
使ったグループ: User-agent: *（1行目）
ほかに一致したルール: Disallow: /wp-admin/（2行目）
許可
ClaudeBotAnthropic（Claude）の学習
一致したルールのうち、いちばん長い「Allow: /wp-admin/admin-ajax.php」（3行目）を使います。書いた順番は関係ありません。
使ったグループ: User-agent: *（1行目）
ほかに一致したルール: Disallow: /wp-admin/（2行目）

https://example.com/wp-admin-guide/判定に使うパス: /wp-admin-guide/

許可
GooglebotGoogle 検索
User-agent: * のグループに一致するルールがないので許可です。
使ったグループ: User-agent: *（1行目）
許可
Googlebot-ImageGoogle 画像検索
User-agent: * のグループに一致するルールがないので許可です。
使ったグループ: User-agent: *（1行目）
Googlebot-Image のグループがなければ Googlebot のグループに従います。
許可
Google-ExtendedGemini の学習・回答への利用
User-agent: * のグループに一致するルールがないので許可です。
使ったグループ: User-agent: *（1行目）
Google-Extended はクローラーではなく、Googlebot が取得したページを Gemini などの生成 AI に使ってよいかを決める名前です。ブロックしても Google 検索の順位・表示には影響しません。
許可
BingbotBing 検索
User-agent: * のグループに一致するルールがないので許可です。
使ったグループ: User-agent: *（1行目）
許可
GPTBotOpenAI の学習
User-agent: * のグループに一致するルールがないので許可です。
使ったグループ: User-agent: *（1行目）
許可
ClaudeBotAnthropic（Claude）の学習
User-agent: * のグループに一致するルールがないので許可です。
使ったグループ: User-agent: *（1行目）

4. 書き方のチェック

Google が読めない行・意味のない行・よくある勘違いを、行番号つきで知らせます。

エラー 0件注意 0件参考 0件

書き方の問題は見つかりませんでした。

グループの一覧

*
1行目から・Disallow 1件・Allow 1件

Sitemap

5行目: https://example.com/wp-sitemap.xml

貼りつけた robots.txt と URL はこのブラウザに保存されるだけで、サーバーには送りません。サイトにアクセスして robots.txt を取りに行くこともしません。

ABOUT

robots.txt テスター｜URL がブロックされるかの判定・書き方チェック・AI クローラーのブロック生成について

robots.txt テスターは、サイトの robots.txt を貼りつけて、確かめたい URL がクローラーごとに「許可」か「ブロック」かを判定するツールです。Google Search Console にあった robots.txt テスターは 2023年12月に提供が終わり、今の「robots.txt レポート」では URL ごとの判定ができなくなったため、その代わりに使えるように作りました。判定は Google の仕様（RFC 9309 と Google が公開している robots.txt パーサーのふるまい）に合わせ、Allow と Disallow の両方に一致したら「パターンがいちばん長いルール」を使い、同じ長さなら Allow を使います。「*」は0文字以上の何か、末尾の「$」は URL の終わりとして扱い、パスの大文字小文字を区別し、日本語の URL は %E3%81… の形にそろえて比べます。Googlebot の名前を書いたグループがあると Googlebot は「User-agent: *」のルールを使わないこと、Googlebot-Image は自分のグループがなければ Googlebot のグループに従うこと、AdsBot-Google と AdSense の Mediapartners-Google は「*」を無視すること、Applebot は Googlebot のルールに従うことも反映しています。GPTBot・ClaudeBot・Google-Extended・Applebot-Extended・PerplexityBot・CCBot などの AI クローラーも選べ、AI の学習だけを止める robots.txt を作る機能もあります。書き方のチェックでは、全角の「：」、Disallow に URL を書いた行、User-agent より前のルール、Googlebot-Images のようなクローラー名の間違い、サポートの終わった Noindex、Google が読まない Crawl-delay、パスだけの Sitemap などを行番号つきで知らせます。

robots.txt テスター｜URL がブロックされるかの判定・書き方チェック・AI クローラーのブロック生成の使い方

1サイトの「https://ドメイン/robots.txt」を開いて中身をコピーし、「robots.txt の中身」に貼りつける
2確かめたい URL かパスを1行に1つずつ入れる（https:// からでも /blog/ のようなパスだけでも可）
3Googlebot・Bingbot・GPTBot・ClaudeBot など、判定したいクローラーを選ぶ
4判定の結果の表で、URL × クローラーごとの「許可」「ブロック」を確かめる
5URL を開いて、決め手になったルールの行番号と、使われたグループ（User-agent）を確かめる
6「書き方のチェック」でエラー・注意の行を直し、もう一度判定する
7AI クローラーを止めたいときは「AI クローラーのブロックを作る」で行を作り、テスト中の robots.txt に足して確かめる

使いやすい場面

Search Console の robots.txt テスターがなくなったので、代わりに URL がブロックされていないか確かめたい
robots.txt を書き換える前に、大事なページを誤ってブロックしていないか確かめたい
Allow と Disallow のどちらが優先されるのか、自分の書き方で実際に試したい
「Disallow: /*?」や「Disallow: /*.pdf$」など、ワイルドカードの書き方が意図どおりか確かめたい
検索結果ページやパラメータつきの URL だけをクロールから外したい
GPTBot・ClaudeBot・Google-Extended など、AI の学習用クローラーだけを止める robots.txt を作りたい
Googlebot 用のグループを足したら、「User-agent: *」のルールが効かなくなっていないか確かめたい
WordPress の robots.txt で wp-admin の admin-ajax.php が許可されているか確かめたい
ブログやサイトの引き継ぎで、前任者が書いた robots.txt に間違いがないか点検したい

利用時のポイント

判定は Google の読み方に合わせています。Bing など、ほかの検索エンジンや AI のクローラーは細かいところで読み方が違うことがあります。
Allow と Disallow の両方に一致したときは、パターンの長い（具体的な）ほうを使い、同じ長さなら Allow を使います。上から順に読んで最初に一致したルールを使う、という読み方はしません。
Googlebot の名前を書いたグループが1つでもあると、Googlebot はそのグループのルールだけを使い、「User-agent: *」のルールは使いません。「*」と同じように止めたいパスは、Googlebot のグループにも書く必要があります。
Googlebot-Image・Googlebot-Video・Googlebot-News は、自分の名前のグループがなければ Googlebot のグループに、それもなければ「*」に従います。AdsBot-Google と Mediapartners-Google（AdSense）は「*」を無視するので、止めるには名前を書きます。
パスは大文字小文字を区別します。「Disallow: /Admin/」は /admin/ を止めません。日本語のパスは %E3%81… の形にそろえて比べるので、どちらで書いても同じ URL として判定します。
robots.txt はクロール（ページの取得）を止めるもので、検索結果に出ないようにするものではありません。ほかのページからリンクされていると、ブロックした URL が説明文なしで検索結果に出ることがあります。検索結果から消したいときは noindex を使い、そのページは robots.txt でブロックしないでください（ブロックすると noindex が読まれません）。
robots.txt の Noindex は Google が 2019年9月1日にサポートを終了しました。Crawl-delay も Google は読みません。
robots.txt はドメインごと（サブドメイン、http と https、ポート番号も別）にサイトの一番上に置きます。/blog/robots.txt のような場所に置いても読まれません。
Google が読むのは robots.txt の先頭 500KiB までです。それより後ろのルールは無視されます。
AI クローラーの名前（User-agent）は各社が公開しているものです。新しい名前が増えたり変わったりすることがあるので、止める前に各社の案内も確かめてください。robots.txt は守るかどうかがクローラーに任されたお願いで、強制力はありません。
貼りつけた robots.txt と URL はこのブラウザの中だけで判定し、サーバーには送りません。サイトにアクセスして robots.txt を取りに行くこともしません。

こんなときに使えます

robots.txt テスター｜URL がブロックされるかの判定・書き方チェック・AI クローラーのブロック生成は、次のような場面の答えになります。

Search Console の robots.txt テスターの代わりになるツールを使いたい
robots.txt で特定の URL がブロックされているか確かめたい
robots.txt の Allow と Disallow の優先順位を知りたい
robots.txt の * と $ の使い方を確かめたい
User-agent: * と Googlebot の両方を書いたときの動きを知りたい
robots.txt に書き間違いがないかチェックしたい
GPTBot や ClaudeBot をブロックする robots.txt の書き方を知りたい
AI の学習だけを止めて検索には出したい
robots.txt の noindex や crawl-delay が効いているか知りたい

よくある質問

Search Console の robots.txt テスターはどこにいきましたか？: Google Search Console の robots.txt テスターは 2023年12月に提供が終わり、代わりに「設定」の中の「robots.txt レポート」になりました。レポートでは robots.txt を取得できたかやエラーの行は分かりますが、URL を入れてブロックされるかを試す機能はありません。URL ごとの判定は、このツールか、URL 検査ツール（公開中の URL のみ）で確かめられます。
Allow と Disallow の両方に一致したら、どちらが優先されますか？: Google は、パターンがいちばん長い（具体的な）ルールを使います。たとえば「Disallow: /blog/」と「Allow: /blog/public/」なら、/blog/public/a.html は長いほうの Allow が勝って許可です。同じ長さのときは Allow（制限の少ないほう）を使います。書いた順番は関係ありません。
User-agent: * と User-agent: Googlebot の両方を書くとどうなりますか？: Googlebot は自分の名前のグループだけを使い、「User-agent: *」のグループのルールは一切使いません。「*」でブロックしているパスを Googlebot にも止めたいときは、Googlebot のグループにも同じ Disallow を書く必要があります。
robots.txt の * と $ はどういう意味ですか？: 「*」は0文字以上のどんな文字にも一致し、「$」はパターンの最後に置いたときだけ「URL の終わり」を意味します。「Disallow: /*.pdf$」は .pdf で終わる URL を止め、/a.pdf?download=1 のようにあとにクエリが続く URL は止めません。パターンの末尾の「*」は意味がなく、「/fish*」は「/fish」と同じです。
Disallow: /fish と Disallow: /fish/ は違いますか？: 違います。「/fish」は前方一致なので、/fish.html や /fishheads も止めます。「/fish/」はフォルダの中だけを止め、/fish や /fish.html は止めません。
robots.txt でブロックすれば検索結果から消えますか？: 消えるとは限りません。robots.txt はクロールを止めるだけなので、ほかのページからリンクされている URL は、中身なしで検索結果に出ることがあります。検索結果から消したいときは、ページに noindex を入れ、そのページは robots.txt でブロックしないでください。ブロックすると Googlebot が noindex を読めません。
ChatGPT や Claude などの AI にサイトを学習させないようにするには？: robots.txt で、OpenAI の GPTBot、Anthropic の ClaudeBot、Google の Google-Extended、Apple の Applebot-Extended、Common Crawl の CCBot などを「Disallow: /」でブロックします。Google-Extended と Applebot-Extended を止めても、Google 検索・Apple の検索での表示には影響しません。OAI-SearchBot や Claude-SearchBot、PerplexityBot は AI の検索の回答に使うクローラーなので、止めるとその回答で紹介されにくくなります。
Crawl-delay を書けば Googlebot のクロールを遅くできますか？: できません。Google は Crawl-delay を読みません。Googlebot はサーバーの応答の速さやエラーに合わせて自動で頻度を調整します。Bing や Yandex は Crawl-delay を読みます。
日本語の URL は robots.txt にどう書けばいいですか？: 「Disallow: /カテゴリ/」のように日本語のまま書いても、「Disallow: /%E3%82%AB%E3%83%86%E3%82%B4%E3%83%AA/」のように %エンコードして書いても、Google は同じものとして扱います。ファイルは UTF-8 で保存してください。このツールも両方の書き方を同じ URL として判定します。

ARTICLES

robots.txt テスター｜URL がブロックされるかの判定・書き方チェック・AI クローラーのブロック生成の使い方ガイド

使い方ガイドrobots.txt の確認方法｜テスター廃止後にブロックを調べる手順Google Search Console にあった robots.txt テスターは2023年12月に提供が終わり、今は「robots.txt レポート」に置き換わっています。レポートでは「URL を入れてブロックされるか試す」ことができないため、「どこで確認すればいいの？」と迷う人が増えました。この記事では、robots.txt の置き場所と開き方、Search Console のレポートと URL 検査ツールで分かること・分からないこと、テスターで URL ごとの判定を確かめる手順、書き換えたあとに反映されるまでの流れをまとめます。使い方ガイドrobots.txt の Allow と Disallow の優先順位｜* と $ の意味robots.txt で同じ URL に Allow と Disallow の両方が当てはまるとき、どちらが使われるのか。「上に書いたほうが優先」と思われがちですが、Google の読み方は違います。この記事では、Google が採用している「いちばん長く一致したルールが勝つ」仕組み、ワイルドカード「*」と末尾の「$」の意味、「/fish」と「/fish/」の違い、大文字小文字や日本語の URL の扱いを、例を使って解説します。使い方ガイドrobots.txt の User-agent の書き方｜* と Googlebot を両方書くとrobots.txt に「User-agent: *」のグループと「User-agent: Googlebot」のグループの両方を書くと、Googlebot は「*」のルールを使わなくなります。これを知らずに Googlebot 用のグループを足して、止めていたはずのページがクロールされるようになった、というトラブルはよくあります。この記事では、クローラーがどのグループを使うかの決まり方、Googlebot-Image や AdsBot-Google などの特別な扱い、グループのまとめ方と書き間違いやすい点を解説します。使い方ガイドAI クローラーをブロックする robots.txt｜GPTBot・ClaudeBot自分のサイトの文章や画像を AI の学習に使われたくない、という声が増えています。robots.txt に AI のクローラーの名前を書けば、各社のクローラーに取得をやめるよう伝えられます。ただし、AI のクローラーには「学習用」「AI 検索用」「ユーザーの指示で開くもの」があり、どれを止めるかで影響が大きく変わります。この記事では、主な AI クローラーの名前と役割、目的別の robots.txt の書き方、止めるときの注意点をまとめます。使い方ガイドrobots.txt と noindex の違い｜検索結果から消す正しい方法「robots.txt でブロックしたのに検索結果に出てくる」「Search Console に『robots.txt によりブロックされましたが、インデックスに登録しました』と出た」。こうした悩みの多くは、robots.txt と noindex の役割の違いから来ています。この記事では、クロールとインデックスの違い、検索結果から消したいときの正しい手順、robots.txt の Noindex や Crawl-delay が効かない理由、Search Console でよく見るメッセージと書き間違いの直し方をまとめます。

Special Thanks

SOLO GUILD | サービス作るAIエンジニア

一覧に戻る