Создать robots.txt онлайн - бесплатный генератор
Генератор robots.txt онлайн
Создайте инструкции для поисковых роботов, скопируйте результат или скачайте готовый файл robots.txt.
Настройки
Важно: robots.txt управляет обходом, но не гарантирует исключение страниц из поисковой выдачи и не защищает закрытые данные.
Готовый robots.txt
Разместите файл в корне сайта, например: https://example.ru/robots.txt. Проверяйте правила в инструментах поисковых систем.
смотрите также