Запрещаем поисковым роботам индексацию всех поддоменов конфигом apache

В веб-сервере apache есть возможность автоматически добавлять поддомены, это частенько используют разработчики, создал каталог и у тебя уже поддомен готов, и в процессе разработки не очень то хотелось, что бы поисковые системы индексировали данный сайт, но создавать каждый раз robots.txt довольно муторнее занятие и можно забыть, для решения этой проблемы есть два довольно простых способа.

Первый способ, используем опцию alias, в конфиге поддоменов, добавляем строчку
alias /robots.txt /path/to/norobots.txt
И создаем файл /path/to/norobots.txt с содержимым:
User-agent: *
Disallow: /

Данный файл запрещает индексацию сайта порядочным роботам.

Еще можно попробовать выставлять в header'ах X-Robots-Tag
В конфиге виртуал хоста надо добавить
Header set X-Robots-Tag "noindex, nofollow"
Не забываем применить конфигурацию, apachectl graceful

Второй способ это использование RewriteEngine, так же добавляем в конфиг поддоменов следующие строчки:
	RewriteEngine on
	RewriteCond %{HTTP_USER_AGENT} google [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} yandex [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} aport [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} WordPress [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} mail.ru [NC]
	RewriteRule ^.*$ – [F]
Флаг NC — выключает регистрозависимость, OR — добавляет следующее правило
RewriteRule ^.*$ – [F] — выдаст 403 Forbidden

Данные способ более жесток по отношению к роботам, я использую одновременно как первый так и второй способ.

Комментарии ()

    Есть вопрос или предложение пиши в Telegram @cloudsv

    MTProto прokси для Telegram

    Прямой эфир

    cloudsv 10 сентября 2020, 13:17
    MySQL Workbench падает при подключении 2
    cloudsv 31 августа 2020, 15:55
    Let's Encrypt это легко и просто 2
    cloudsv 05 августа 2020, 11:57
    Мне вчера стукнуло 34 4
    Алексей 19 июня 2020, 15:06
    Обновление Scala Rider G4 34
    Tmks 24 января 2020, 01:05
    Настройка прокси mtproto для Telegram 50
    cloudsv 26 октября 2019, 20:11
    Linux I/O Scheduler, для кого какой? 2
    alex 26 февраля 2019, 11:28
    Установка и настройка minidlna 1
    Георгий 18 декабря 2018, 09:13
    Пароль от резервной копии Bitrix 2
    cloudsv 31 июля 2020, 00:54
    О жизни Мне вчера стукнуло 34 4
    cloudsv 15 апреля 2020, 18:45
    Arch Linux Основные hotkeys редактора Vim 0
    cloudsv 01 октября 2019, 11:00
    Arch Linux Локальный редирект порта в Linux 0
    cloudsv 25 августа 2019, 19:14
    О жизни Социальная сеть от Яндекса Aura 0
    cloudsv 31 июля 2019, 00:34
    О жизни 33 year old 0
    cloudsv 25 июня 2019, 21:29
    Telegram Полезные боты в Telegram 0