Правила для роботов
Об этом генераторе robots.txt
Файл robots.txt даёт поисковым роботам инструкции до обхода сайта. Это обычный текстовый файл в корне, например https://example.com/robots.txt. Правила могут открыть весь сайт, попросить не посещать отдельные пути или закрыть от обхода всё.
Это просьбы для роботов, которые соблюдают правила, а не защита доступа. Файл виден всем, некоторые боты могут его игнорировать, а закрытый URL всё равно иногда попадает в поиск без текста страницы. Никогда не защищайте через robots.txt пароли, данные клиентов, админку или другую закрытую информацию.
Строка Sitemap сообщает адрес XML-карты сайта. Она не заменяет отправку карты через кабинет поисковика, но даёт роботам ещё один надёжный способ её найти.
Что означает каждая строка
На многих серверах регистр букв в пути имеет значение. Внимательно проверьте файл перед публикацией.
| Строка | Значение |
|---|---|
| User-agent: * | Следующие правила относятся ко всем роботам. |
| Allow: / | Роботам разрешено посещать весь сайт. |
| Disallow: /path/ | Просит роботов не посещать этот путь и вложенные URL. |
| Sitemap: | Указывает полный открытый адрес XML-карты сайта. |
Как создать файл robots.txt
- Выберите доступ: Откройте сайт, перечислите закрытые пути или закройте всё, только если это действительно нужно.
- Добавьте Sitemap: Укажите полный открытый URL файла sitemap.xml и проверьте каждое правило.
- Опубликуйте в корне: Скачайте или скопируйте файл и поместите его по адресу /robots.txt на том же сайте.
Частые вопросы
Можно ли скрыть личные данные через robots.txt?
Нет. Файл открыт всем и только просит роботов не заходить. Закрывайте страницы авторизацией и правильными разрешениями сервера.
Disallow удалит страницу из Google?
Не всегда. Закрытый URL может остаться в поиске, если на него есть ссылки. Для удаления разрешите роботу увидеть noindex или используйте инструмент удаления поисковика.
Куда загружать robots.txt?
В корень точного протокола и хоста, например https://example.com/robots.txt. Файл /folder/robots.txt не управляет всем сайтом.
Нужно ли добавлять Crawl-delay?
Обычно нет. Google не поддерживает Crawl-delay в robots.txt, а другие роботы понимают его по-разному. Используйте настройки поисковика или сервера.