Генератор robots.txt

Создайте файл robots.txt для управления индексацией вашего сайта поисковыми системами.

Общие правила для всех роботов (User-agent: *)


Отдельные правила для поисковых роботов