robots.txt 生成ツール — AI クローラーを拒否してアクセスを制御
robots.txt は Google にどのページをクロール・インデックスしてよいかを伝えるファイルです。誤ったルールはサイト全体を検索結果から隠してしまいます。ブラウザ内で robots.txt を生成。手順:User-agent を選び、各グループに Allow / Disallow パスと Sitemap 行を追加し、構文ルールと最新の AI クローラー向け User-agent の説明付きで結果をコピー。すべてローカルで完結し、アップロードは一切ありません。例:GPTBot をブロックしつつ Googlebot は完全に許可する構成。
含めたいクローラーにチェックを入れ、各グループにパスを追加してください。
使い方
対象のクローラーを選び、グループごとに Allow と Disallow パスを追加し、必要なら Sitemap 行を入れて「生成」を押します。ページが RFC 9309 のレイアウトに沿ってテキストを組み立てます:グループごとに User-agent 行、その下に Allow/Disallow 行、グループ間は空行、末尾に Sitemap 行。結果をサイトのルート /robots.txt に配置してください。
押さえておきたい構文ルール
robots.txt のルールはパスプレフィックスで、正規表現ではありません。クローラーはファイル内で最後に一致したグループを適用します。このツールが従うルールは次のとおりです。
- グループの順序:User-agent 行でそのクローラー向けグループが始まり、空行で終わります。最後に一致したグループが優先されます。
- プレフィックス一致:Allow と Disallow はパスプレフィックスで照合され、部分一致や正規表現ではありません。特殊文字は * と $ のみ(RFC 9309)。
- Disallow: / はそのエージェントをサイト全体からブロックします。値が空の Disallow はそのエージェントにすべて許可します。
- Sitemap は拡張であり、RFC 9309 の一部ではありません。大文字小文字を問わず任意の位置に書けますが、通常は末尾に置きます。
例
サンプル:Googlebot は Allow: /(完全許可)、GPTBot は Disallow: /(ブロック)、最後に Sitemap 行が /sitemap.xml を指す構成。出力はクローラーごとに 1 グループ、グループ間は空行、末尾に sitemap というレイアウトになります。
こんなときに
- 新規サイト:検索エンジンを有効に保ちつつ、非公開のステージングパスを隠す初期 robots.txt を生成。
- AI クローラー対策:Googlebot には触れずに、GPTBot・ClaudeBot・Google-Extended・CCBot・PerplexityBot を学習や要約抽出からブロック。
- 発見性向上:robots.txt に Sitemap 行を入れて、クローラーがサイトマップを見つけやすくする。
Frequently asked questions
Disallow: / と書くとどうなりますか?
そのクローラーにサイトルート配下の URL を取得しないよう伝えます。Googlebot に Disallow: / を設定すると、ページが Google 検索から消える可能性があります。ステージングは Disallow: /private/ のように具体的なパスで指定してください。
GPTBot などの AI クローラーはどうブロックしますか?
クローラーの User-agent(例:GPTBot、ClaudeBot、Google-Extended、CCBot、PerplexityBot)でグループを作り、Disallow: / を追加します。AI クローラーは User-agent や IP 帯を更新することがあるため、公式ドキュメントを確認してください。
Sitemap 行はどこに置くべきですか?
位置は検索エンジンの読み取りに影響しませんが、慣例ではファイル末尾に置きます。このツールは URL を入力すると末尾に追加します。
robots.txt はどこかにアップロードされますか?
いいえ。ファイルはブラウザ内で生成され、サーバーに送信されることはありません。タブを閉じれば何も残りません。
お問い合わせ・フィードバック
分かりにくい点、不具合、不足があれば下にメッセージを書いてください。ツールに関する内容はすべて確認します。