Генератор Robots.txt
URL сайта (необязательно)
Правила
1
User-agent
Директива
Путь
URL карты сайта (по одному на строку)
Задержка обхода (в секундах)
Как пользоваться Генератор Robots.txt
- 1
Добавьте правила обхода
Нажмите «Добавить правило» и задайте User-agent, выберите Allow или Disallow и введите путь, к которому должно применяться каждое правило.
- 2
Задайте необязательные директивы
Добавьте URL ваших карт сайта (по одному на строку) и необязательную задержку обхода в секундах, чтобы управлять тем, как поисковые системы обходят ваш сайт.
- 3
Сгенерируйте файл
Нажмите «Сгенерировать robots.txt», чтобы построить корректно отформатированный файл из ваших правил и директив.
- 4
Скопируйте или скачайте
Используйте «Копировать в буфер обмена» или «Скачать robots.txt», затем загрузите файл в корень вашего домена (yoursite.com/robots.txt).
Часто задаваемые вопросы
Для чего нужен файл robots.txt?
Файл robots.txt сообщает поисковым роботам, к каким частям вашего сайта они могут или не могут получать доступ. Он использует директивы User-agent, Allow и Disallow и размещается в корне вашего домена, чтобы боты читали его перед обходом.
Как работают правила Allow и Disallow?
Disallow блокирует роботам доступ к пути, а Allow явно разрешает один, что полезно для открытия подпапки внутри в остальном заблокированного каталога. Можно нацелиться на всех ботов через User-agent для всех роботов или написать отдельные правила для конкретных роботов вроде Googlebot.
Что делает crawl-delay?
Crawl-delay предлагает, сколько секунд робот должен ждать между запросами, что может снизить нагрузку на сервер. Учтите, что не все поисковые системы его соблюдают; например, Google игнорирует crawl-delay и предпочитает настройки скорости обхода в Search Console.
Зачем добавлять строку с картой сайта?
Включение директивы Sitemap указывает роботам на ваш XML-файл карты сайта, чтобы они эффективнее обнаруживали ваши страницы. Инструмент позволяет перечислить несколько URL карт сайта, по одному на строку, и записывает их в файл за вас.
Гарантирует ли robots.txt, что страница не попадёт в Google?
Нет. Disallow предотвращает обход, но заблокированный URL всё равно может быть проиндексирован, если на него ссылаются другие страницы. Чтобы не допустить попадания страницы в результаты поиска, используйте meta-тег noindex или заголовок на странице, доступной для обхода, а не полагайтесь только на robots.txt.
Похожие инструменты
Продолжайте работу с этими удобными инструментами