robots.txt — текстовый файл в корне сайта, в котором вы подсказываете поисковым роботам, какие разделы можно обходить, а какие нет. Он небольшой, но ошибка в нём способна вывести из поиска весь сайт, поэтому настраивать его стоит спокойно и с проверкой.
Что делает robots.txt, а что нет
Файл управляет обходом, а не индексацией. Если страница закрыта в robots.txt, робот не будет её читать, но она всё равно может попасть в выдачу без описания, если на неё ведут ссылки. Чтобы страница не появлялась в поиске, используйте мета-тег noindex на самой странице или ответ сервера 404/410 (для удалённых страниц).
Файл не защищает данные: он публичный, любой человек откроет его по адресу вашсайт.ru/robots.txt. Закрывать в нём стоит служебное, но не секретное: конфиденциальные разделы защищают паролем.
Основные директивы
| Директива | Что делает | Пример |
|---|---|---|
| User-agent | Для какого робота правила | User-agent: * (для всех), User-agent: Yandex |
| Disallow | Запрещает обход адресов | Disallow: /admin/ |
| Allow | Разрешает адрес внутри закрытого раздела | Allow: /admin/public/ |
| Sitemap | Указывает карту сайта | Sitemap: https://вашсайт.ru/sitemap.xml |
| Clean-param | Для Яндекса: параметры, которые не меняют содержимое (метки) | Clean-param: utm_source&utm_medium / |
Поисковые системы понимают символ «*» (любая последовательность) и «$» (конец адреса). Файл должен быть в кодировке UTF-8 и отдаваться с кода 200 по адресу сайта на нужном домене и протоколе.
Что обычно закрывают
- Служебные разделы: админ-панель, личные кабинеты, корзину, оформление заказа.
- Страницы результатов внутреннего поиска и сортировки, которые создают бесконечные адреса.
- Технические адреса: скрипты, служебные API, выгрузки.
- Дубли с параметрами, если их нельзя закрыть иначе (но для меток Яндекса лучше Clean-param).
Не закрывайте CSS и JavaScript: роботам нужно их читать, чтобы увидеть страницу так же, как посетитель, и оценить мобильную версию.
Типичные ошибки
- Disallow: / оставили после разработки. Сайт целиком закрыт для обхода. Проверяйте файл после переезда и релиза.
- Закрыт раздел, который продвигаете. Например, каталог или блог попали под широкое правило.
- Одно правило для всех роботов, хотя нужно для Яндекса отдельное. Если есть секция User-agent: Yandex, Яндекс читает только её, а общую секцию игнорирует.
- Файл отдаёт ошибку или редирект. Роботы могут воспринять это как разрешение обходить всё или как временную недоступность.
- Расчёт на удаление из индекса. Disallow не убирает страницу из поиска: для этого нужен noindex или 404.
Как проверить
- В Яндекс Вебмастере: «Инструменты → Анализ robots.txt» покажет, как робот читает файл и разрешены ли конкретные адреса.
- В Google Search Console: отчёт о файле robots.txt и инструмент проверки URL.
- Руками: откройте файл в браузере и проверьте, что он на нужном домене, в UTF-8 и без лишних строк.
robots.txt — одна из проверок в техническом SEO-чек-листе. Если хотите, чтобы специалист проверил файл вместе со всем сайтом, закажите аудит сайта: покажем ошибки индексации и порядок их исправления.