Проверка robots.txt онлайн
Скачает файл и проверит директивы: синтаксис, Sitemap, закрытие сайта и доступность адреса.
Как это устроено
Из подходящих правил выбирается самое длинное по числу символов пути; если длина одинакова, побеждает Allow. Звёздочка в пути означает любую последовательность символов, знак доллара — конец адреса.
Как пользоваться
Введите адрес сайта.
При желании укажите адрес страницы, чтобы проверить, открыт ли он для роботов.
Нажмите «Проверить» и исправьте замечания.
Пример расчёта
Правило «Disallow: /admin» закрывает /admin и всё, что начинается с этого пути. Правило «Allow: /admin/public» длиннее, поэтому /admin/public остаётся открытым.
Полезная информация
Ошибка в robots.txt может закрыть сайт от индексации целиком. Инструмент скачивает файл с вашего сайта и проверяет ответ сервера, тип содержимого, размер, кодировку, группы User-agent, директивы Sitemap, неизвестные и устаревшие директивы и опечатки. Можно указать адрес и узнать, открыт ли он для Googlebot и Яндекса.
Проверка читает только общедоступный файл.
Вопросы
Что будет, если файла нет?
Поисковики считают, что сайт можно обходить целиком. Это допустимо, но лучше добавить файл хотя бы с адресом Sitemap.
Скрывает ли robots.txt страницы из поиска?
Нет: запрет обхода не гарантирует, что страница не попадёт в выдачу. Чтобы убрать страницу из поиска, используйте метатег robots со значением noindex.