Генератор robots.txt
Создайте корректный robots.txt: разрешайте или блокируйте роботов, запрещайте пути с подстановками, добавляйте исключения Allow, Crawl-delay, карты сайта и блокируйте ИИ-ботов.
Пути начинаются с /. * — любые символы, $ — конец URL.
Исключения внутри закрытых папок; побеждает самое конкретное правило.
Учитывают Bing и Яндекс; Google игнорирует.
User-agent: * Disallow: /admin/ Disallow: /cart/ Disallow: /*?sessionid= Sitemap: https://example.com/sitemap.xml
Что такое Генератор robots.txt?
Генератор строит файл robots.txt по RFC 9309. Выберите, могут ли роботы обращаться к сайту, перечислите запрещённые пути (с подстановками * и $) и исключения Allow, добавьте необязательный Crawl-delay и URL карт сайта и при желании добавьте группу, блокирующую краулеры для обучения ИИ и ИИ-поиска вроде GPTBot, ClaudeBot, Google-Extended, CCBot и PerplexityBot.
Как пользоваться Генератор robots.txt
- Выберите правило по умолчанию: разрешить обход, кроме перечисленных путей, или заблокировать весь сайт.
- Введите пути Disallow и исключения Allow по одному в строке, каждый начиная с /.
- Добавьте Crawl-delay при необходимости и URL карт сайта.
- Отметьте «Также блокировать ИИ-краулеры», если хотите отказаться от обучения ИИ и ИИ-поиска.
- Скопируйте или скачайте robots.txt и загрузите его в корень сайта.
Пример
Allow all except /admin/, /cart/, /*?sessionid= · sitemap https://example.com/sitemap.xml
User-agent: * Disallow: /admin/ Disallow: /cart/ Disallow: /*?sessionid= Sitemap: https://example.com/sitemap.xml
Когда использовать Генератор robots.txt
Используйте, чтобы роботы не тратили время на админку, корзину, поиск и URL с параметрами, чтобы указать им карту сайта или чтобы отказаться от ИИ-краулеров. robots.txt носит рекомендательный характер: он не скрывает страницы и не удаляет проиндексированные URL (для этого используйте noindex или аутентификацию), а злонамеренные боты его игнорируют.
Как работает Генератор robots.txt
Инструмент пишет группу User-agent: * с вашими строками Allow и Disallow (пустой Disallow:, если ничего не блокируется, что сохраняет группу корректной), затем необязательную группу с user-agent ИИ-ботов и Disallow: /, затем строки Sitemap. Строки, не начинающиеся с / или *, помечаются, потому что роботы их игнорируют. Crawl-delay добавляется, только если это число.
Распространенные Случаи Использования
- Заблокировать /admin/ и /cart/, разрешив остальное в магазине.
- Заблокировать для роботов весь тестовый сайт.
- Отказаться от GPTBot, ClaudeBot и Google-Extended.
- Объявить несколько файлов карты сайта.
Часто Задаваемые Вопросы
Удаляет ли Disallow страницу из Google?
Нет. Заблокированный URL всё равно может проиндексироваться по ссылкам, только без содержимого. Чтобы убрать его из выдачи, используйте мета-тег noindex (и разрешите обход).
Учитывает ли Google Crawl-delay?
Нет. Google его игнорирует; Bing и Yandex учитывают.
Уберёт ли блокировка Google-Extended меня из поиска Google?
Нет. Google-Extended управляет только использованием вашего контента для обучения Gemini и Vertex AI; Googlebot по-прежнему обходит сайт для поиска.