Генератор robots.txt — управляйте разрешениями и блокировками ИИ-краулеров
Ваш robots.txt говорит Google, какие страницы обходить и индексировать: ошибка в правиле может скрыть весь сайт из поиска. Создайте файл robots.txt в браузере. Шаги: выберите user-agents, добавьте пути Allow / Disallow и строку Sitemap, затем скопируйте результат в виде обычного текста — с объяснением правил синтаксиса и актуальных user-agents ИИ-краулеров. Работает локально: ничего не загружается. Пример: блокировка GPTBot при полностью разрешённом Googlebot.
Отметьте роботов, которых хотите включить, затем добавьте пути для каждой группы.
Как это работает
Выберите целевых краулеров, добавьте пути Allow и Disallow для каждой группы, при необходимости строку Sitemap и нажмите «Сгенерировать». Страница собирает файл в виде обычного текста по формату RFC 9309: строка User-agent для каждой группы, под ней строки Allow/Disallow, пустая строка между группами и строка Sitemap в конце. Скопируйте результат в корень сайта по адресу /robots.txt.
Важные правила синтаксиса
Правила robots.txt — это префиксы путей, а не шаблоны; краулер применяет последнюю совпавшую группу в файле. Вот правила, которым следует этот генератор.
- Порядок групп: строка User-agent начинает группу для этого краулера; пустая строка её заканчивает. Действует последняя совпавшая группа.
- Префиксное совпадение: Allow и Disallow совпадают с префиксами путей, а не подстроками и не регулярными выражениями. Специальны только * и $ (RFC 9309).
- Disallow: / блокирует этого агента на всём сайте; Disallow с пустым значением разрешает агенту всё.
- Sitemap — это расширение, а не часть RFC 9309. Оно не зависит от регистра и может стоять в любом месте, хотя обычно его размещают в конце.
Пример
Пример: Googlebot с Allow: / (полностью разрешён), GPTBot с Disallow: / (заблокирован) и строка Sitemap, указывающая на /sitemap.xml. Вывод повторяет этот формат: группа на краулера, пустая строка между группами, sitemap в конце.
Когда пригодится
- Новые сайты: создайте стартовый robots.txt, который оставляет поисковики включёнными и скрывает приватные staging-пути.
- Контроль ИИ-краулеров: блокируйте GPTBot, ClaudeBot, Google-Extended, CCBot или PerplexityBot для обучения или извлечения сводок, не трогая Googlebot.
- Обнаружение: свяжите robots.txt со строкой Sitemap, чтобы краулеры находили вашу карту сайта.
Frequently asked questions
Что будет, если написать Disallow: / ?
Это запрещает краулеру получать любой URL в корне сайта. Если Googlebot получит Disallow: /, ваши страницы могут исчезнуть из Google Search. Для staging-пути вместо этого используйте Disallow: /private/.
Как заблокировать ИИ-краулеры вроде GPTBot?
Создайте группу с User-agent краулера (например GPTBot, ClaudeBot, Google-Extended, CCBot, PerplexityBot) и добавьте Disallow: /. Сверяйтесь с официальной документацией краулера: ИИ-краулеры периодически обновляют свои user-agents и диапазоны IP.
Где должна стоять строка Sitemap?
Положение не влияет на чтение поисковиками, но по соглашению её ставят в конце файла. Генератор добавляет её последней, если вы указали URL.
Загружается ли мой robots.txt куда-нибудь?
Нет. Файл создаётся в вашем браузере и никогда не отправляется на сервер. Закройте вкладку — и ничего не сохранится.
Related tools
Вопросы и отзывы
Что-то неясно, сломано или отсутствует? Напишите сообщение ниже — мы читаем каждую заметку об этих инструментах.