Запрещаем поисковым роботам индексацию всех поддоменов конфигом apache

В веб-сервере apache есть возможность автоматически добавлять поддомены, это частенько используют разработчики, создал каталог и у тебя уже поддомен готов, и в процессе разработки не очень то хотелось, что бы поисковые системы индексировали данный сайт, но создавать каждый раз robots.txt довольно муторнее занятие и можно забыть, для решения этой проблемы есть два довольно простых способа.

Первый способ, используем опцию alias, в конфиге поддоменов, добавляем строчку
alias /robots.txt /path/to/norobots.txt
И создаем файл /path/to/norobots.txt с содержимым:
User-agent: *
Disallow: /

Данный файл запрещает индексацию сайта порядочным роботам.
Не забываем применить конфигурацию, apachectl graceful

Второй способ это использование RewriteEngine, так же добавляем в конфиг поддоменов следующие строчки:
	RewriteEngine on
	RewriteCond %{HTTP_USER_AGENT} google [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} yandex [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} aport [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} WordPress [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} mail.ru [NC]
	RewriteRule ^.*$ – [F]
Флаг NC — выключает регистрозависимость, OR — добавляет следующее правило
RewriteRule ^.*$ – [F] — выдаст 403 Forbidden

Данные способ более жесток по отношению к роботам, я использую одновременно как первый так и второй способ.

Комментарии ()

    Есть вопрос или предложение пиши в Telegram @cloudsv

    Прямой эфир

    cloudsv 24 октября 2018, 00:27
    О жизни Обновление Scala Rider G4 0
    cloudsv 21 октября 2018, 23:16
    Arch Linux Памятка по основным утилитам Linux 0
    cloudsv 01 июня 2018, 01:39
    Telegram Настройка прокси mtproto для Telegram 26
    cloudsv 22 января 2018, 21:59
    Web Локальное зеркало обновлений Dr.web 0
    cloudsv 03 октября 2017, 10:55
    Web Пароль от резервной копии Bitrix 1
    cloudsv 09 июля 2017, 23:02
    Arch Linux Let's Encrypt это легко и просто 0

    Реклама

    @NormGIF Лучшие гифки интернетов в Telegram, подписывайся