INDEXO
Индексирование сайта
Аудит сайта
Поднять DR
Блог
Войти
Регистрация
Генератор robots.txt
Создайте файл robots.txt для управления индексацией вашего сайта поисковыми системами.
Общие правила для всех роботов (User-agent: *)
Разрешить всё (Allow: /)
Запретить всё (Disallow: /)
Задать вручную:
Запретить пути (каждый с новой строки)
Разрешить пути (каждый с новой строки)
Отдельные правила для поисковых роботов
Googlebot (Google)
Yandex
Mail.Ru
Crawl-delay (задержка между запросами в секундах)
Sitemap (URL карты сайта)
🔧 Сгенерировать robots.txt