Клоакинг (cloaking) для защиты сайтов средствами Антибот

Изучил что в трендах защиты сайтов от РКН и прочих ненужных ботов в Яндексе, кроме "Антибота" ничего нового и интересного не нашел, все методы старые. Все найденные варианты защиты можно реализовать средствами "Антибота", причем даже лучше, чем найденные в яндексе на многих киносайтах.

Метод известен большинству вембастеров киносайтов, он заключается в том, что в индексе (для ботов поисковиков) один домен (назовем его главный домен), а для людей редирект на другой домен (назовем его субдомен) который не жалко, если прилетит блок.

Реализация клоакинга средствами антибота

1. На главном домене добавить мета тег:

 <meta name="robots" content="noarchive" />

который запретит отображение кэша (сохраненной копии) в выдаче поисковиков.

2. Отключить турбо страницы, они также позволяют увидеть реальный контент не заходя на сайт.

В идеале конечно чтобы этот мета тег был с самого появления сайта и турбо страницы изначально не существовали, чтоб не палить контент всем подряд.

3. На главном домене подключить антибота стандартным методом:

require_once($_SERVER['DOCUMENT_ROOT'].'/antibot8/code/include.php');

Этим мы по умолчанию разрешим доступ к контенту белым ботам (гуглбот, яндексбот, мейлбот, бингбот). Причем разрешено будет строго только легитимным ботам, подделкой Юзер-агента и даже PTR защиту не обойти, т.к. идет проверка по цепочке: IP ➜ PTR ➜ IP. А также "антибот" запретит доступ всем левым ботам анализаторам контента. Белые боты будут индексировать главный домен.

4. Далее редирект, тут возможно 2 варианта:

а) Редиректить вообще всех, кроме белых ботов. В основном все так и делают. Редирект серверный 301, страница проверки и вообще проверка людей антиботом проводиться не будет, чтоб максимально быстро и незаметно люди и все остальные боты телепортировались с главного домена на субдомен. В антибот 8 версии добавить в data/code.php код редиректа (заменив sub.site.ru на свой субдомен):

header('HTTP/1.1 301 Moved Permanently');
header('Location: https://sub.site.ru'.strip_tags($_SERVER['REQUEST_URI']));
die();

б) Редиректить только людей, прошедших антибота. Все боты и чекеры останутся на странице проверки главного домена и никуда не пройдут.
Для этого в том же скрипте, в который вы вставляли код подключения антибота:

require_once($_SERVER['DOCUMENT_ROOT'].'/antibot8/code/include.php');
после него добавить код:
if ($ab_config['whitebot'] != 1) {
echo '<script>document.location.href="https://sub.site.ru'.strip_tags($_SERVER['REQUEST_URI']).'";</script>';
die();
}

Субдомен - запретить индексацию поисковиками, поставить антибота только кодом:

require_once($_SERVER['DOCUMENT_ROOT'].'/antibot8/code/include.php');

Если субдомен является полностью отдельным скриптом, то в антиботе убрать из белого списка все поисковики и ip, чтобы пройти могли только люди после проверки.
Если домен и субдомен являются одним скриптом (зеркалами), то запретить индексацию субдомена можно кодом:

<?php if ($_SERVER['HTTP_HOST'] == 'sub.site.ru') {echo '<meta name="robots" content="noindex">';} ?>

его вставить в шаблон сайта в мета теги, если шаблон поддерживает php, зависит от CMS.

По такой схеме абузы максимально переносятся на субдомен, который легко заменить, при этом левые боты контента не видят, не смогут проанализировать контент на предмет наличия ключевиков (стоп слов) которые они ищут и анализируют.

Протестировать все это на антиботе можно бесплатно, после регистрации на сайте https://antibot.cloud/ru.html дается 10 дней для теста, если нужна лицензия на 1 домен и его субдомены или 5 дней, если без привязки к доменам.

Желательно в конфиге антибота включить рекапчу v.3 (скрытое получение рейтинга, никаких разгадываний лодок), это увеличит надежность для защиты от ботов, максимально маскирующихся под людей.

Если эта инструкция сложна для вас, то я могу установить вам данный редирект на сайт под управлением DataLife Engine (DLE).