Запрещаем поисковым роботам индексацию всех поддоменов конфигом apache

В веб-сервере apache есть возможность автоматически добавлять поддомены, это частенько используют разработчики, создал каталог и у тебя уже поддомен готов, и в процессе разработки не очень то хотелось, что бы поисковые системы индексировали данный сайт, но создавать каждый раз robots.txt довольно муторнее занятие и можно забыть, для решения этой проблемы есть два довольно простых способа.

Первый способ, используем опцию alias, в конфиге поддоменов, добавляем строчку
alias /robots.txt /path/to/norobots.txt
И создаем файл /path/to/norobots.txt с содержимым:
User-agent: *
Disallow: /

Данный файл запрещает индексацию сайта порядочным роботам.

Еще можно попробовать выставлять в header'ах X-Robots-Tag
В конфиге виртуал хоста надо добавить
Header set X-Robots-Tag "noindex, nofollow"
Не забываем применить конфигурацию, apachectl graceful

Второй способ это использование RewriteEngine, так же добавляем в конфиг поддоменов следующие строчки:
	RewriteEngine on
	RewriteCond %{HTTP_USER_AGENT} google [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} yandex [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} aport [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} WordPress [NC,OR]
	RewriteCond %{HTTP_USER_AGENT} mail.ru [NC]
	RewriteRule ^.*$ – [F]
Флаг NC — выключает регистрозависимость, OR — добавляет следующее правило
RewriteRule ^.*$ – [F] — выдаст 403 Forbidden

Данные способ более жесток по отношению к роботам, я использую одновременно как первый так и второй способ.

Комментарии ()

    Авторизация

    GitHubGoogleVkontakteYandex
    Есть вопрос или предложение пиши в Telegram @cloudsv

    MTProto прokси для Telegram

    Прямой эфир

    Diego mont 25 мая 2023, 07:04
    Полезные боты в Telegram 2
    cloudsv 24 апреля 2023, 17:56
    Обновление Scala Rider G4 52
    cloudsv 12 ноября 2022, 19:16
    Установка и настройка minidlna 3
    cloudsv 03 ноября 2022, 03:42
    Настройка прокси mtproto для Telegram 52
    cloudsv 03 января 2022, 10:50
    Let's Encrypt это легко и просто 4
    cloudsv 10 сентября 2020, 13:17
    MySQL Workbench падает при подключении 2
    cloudsv 05 августа 2020, 11:57
    Мне вчера стукнуло 34 4
    cloudsv 07 августа 2023, 22:56
    Linux Asus ROG x13 flow 2022 GV301RE и Linux 0
    cloudsv 15 апреля 2023, 16:23
    Linux Уведомление о смены workspace в X11 Linux 0
    cloudsv 17 октября 2020, 09:55
    Linux Отключить DHCP IPv6 в systemd 0
    cloudsv 30 июля 2020, 21:54
    О жизни Мне вчера стукнуло 34 4
    cloudsv 15 апреля 2020, 15:45
    Linux Основные hotkeys редактора Vim 0
    cloudsv 01 октября 2019, 08:00
    Linux Локальный редирект порта в Linux 0
    cloudsv 25 августа 2019, 16:14
    О жизни Социальная сеть от Яндекса Aura 0
    cloudsv 30 июля 2019, 21:34
    О жизни 33 year old 0
    cloudsv 25 июня 2019, 18:29
    Telegram Полезные боты в Telegram 2