Проверка доступности страницы в robots.txt
Инструмент для онлайн проверки разрешена ли страница к индексированию в соответствии с правилами файла robots.txt. Это позволит наглядно увидеть результат, если вы хотите запретить индексирование страницы в robots.txt. В отчете строчка, запрещающая индексирование, будет выделена красным цветом. Инструмент помогает увидеть допущенные ошибки в файле.