Проверка файла robots.txt

Предлагаем воспользоваться инструментом проверки и создания файлов robots.txt. Вы можете проверить имеющийся файл, указав URL страницы и в режиме «онлайн» вносить в него корректировки. Инструмент покажет, допущены ли ошибки в обновленной версии. Также вы можете воспользоваться шаблонами файлов robots.txt для наиболее популярных CMS, в которых уже указаны все основные условия. Это существенно упростит работу с оптимизацией сайта.