Запрещаем поисковым роботам индексацию всех поддоменов конфигом apache

В веб-сервере apache есть возможность автоматически добавлять поддомены, это частенько используют разработчики, создал каталог и у тебя уже поддомен готов, и в процессе разработки не очень то хотелось, что бы поисковые системы индексировали данный сайт, но создавать каждый раз robots.txt довольно муторнее занятие и можно забыть, для решения этой проблемы есть два довольно простых способа.

Первый способ, используем опцию alias, в конфиге поддоменов, добавляем строчку

alias /robots.txt /path/to/norobots.txt

И создаем файл /path/to/norobots.txt с содержимым:

User-agent: *
Disallow: /

Данный файл запрещает индексацию сайта порядочным роботам.

Еще можно попробовать выставлять в header'ах X-Robots-Tag
В конфиге виртуал хоста надо добавить

Header set X-Robots-Tag "noindex, nofollow"

Не забываем применить конфигурацию, apachectl graceful

Второй способ это использование RewriteEngine, так же добавляем в конфиг поддоменов следующие строчки:

	RewriteEngine on
	RewriteCond %{HTTP_USER_AGENT} google [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} yandex [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} aport [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} WordPress [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} mail.ru [NC]
	RewriteRule ^.*$ – [F]

Флаг NC — выключает регистрозависимость, OR — добавляет следующее правило
RewriteRule ^.*$ – [F] — выдаст 403 Forbidden

Данные способ более жесток по отношению к роботам, я использую одновременно как первый так и второй способ.