Порно запросы в Яндекс метрике
Яндекс Метрика - странные переходы c порно запросами средствами https://antibot.cloud.
Предыстория:
Несколько лет назад у меня была подобная ситуация. Запустив новый сайт на дроп домене, примерно через месяц я обнаружил резкий рост посещаемости с запросами порнографического характера.
Тогда этому событию значения не придал. Запросы сыпались может месяц может больше, потом все прекратилось. Но органический трафик из поисковых систем, так на сайт и не пришел.
Бывает скажете вы...
История одного клиента
Приболевший не по своей вине ресурс https://rosserial.in/
Обратился ко мне человек за консультацией, аккурат на предмет молодого сайта на котором я делал ранее SEO оптимизацию.
На этот ресурс через месяц после старта, вдруг пошел органический трафик с яндекса. (ну а потом полилась рекой чернуха.)
Посещаемость с 15-20 в сутки дошла до 341.
И запросы соответствовали тематике сайта.
Картинка запросов в яндексе ниже:
А на то, что все посетители были на сайте до 15 секунд и просмотрели только одну станицу, никто и внимания не обратил.
В течении 16 дней, посещаемость колебалась от 30 до 106 посетителей в сутки.
Увидел мой заказчик очередную свечку прироста трафика (посещаемость дошла до 452 в сутки), возрадовался. Посмотрел он запросы, все хорошо. Никаких подозрений, запросы соответствовали тематике сайта на 100%.
Такой рост посещаемости продолжался три дня. Посещаемость поднялась почти до 1к.
А вот 17 числа, трафик еще подрос до 2,5 к. Возрадовался мой клиент и решил посмотреть статистику внимательнее.
И вебвизоре его поджидал шок контент, в Яндекс Метрике отображались переходы с Яндекса по запросам порнографического характера.
Часть этих запросов на скрине ниже.
Еще одним проявление ботного трафика была метка в статистике liveinternet.ru.
Мой клиент обеспокоился и попросил помощи в решении данной проблемы.
Позднее, когда я посмотрел лог файл запросов Antibot, который я ранее установил владельцу сайта, делая оптимизацию, я увидел такую картину.
Оказалось что, локальная версия антибота (не путать с облачной), все эти три дня когда происходил рост посещаемости уже резала бот трафик.
Посмотрев эти запросы и увеличивающуюся нагрузку на хостинг, я решил что кто то пытается загнать сайт под фильтр.
Думаю, что почти все вебмастера и владельцы сайтов слышали про различные фильтры, которые накладывают поисковые системы на сайты. Какие то фильтры за слишком быстрый прирост анкорных обратных ссылок, какие то за переспам ключевых слов на сайте.
Но ведь есть и фильтры за накрутку трафика. Хоть поисковые системы и отрицают наличие таких фильтров, но они есть!
Не зря же люди пишут статьи на тему - Как вывести сайт из-под фильтра Яндекса за накрутку поведенческих факторов.
Еще одна версия, для чего это делается, попытка убрать сайт из «семейного поиска».
Борьба с ботами
1. Сайт был проверен на вирусы, на наличие скрытых ссылок. Ничего подозрительного выявлено не было.
2. Была предпринята попытка спрятать сайт за cloudflare и включит режим Under Attack Mode.
Никаких результатов данный режим не дал. Заглушка клоудфлор, которая задерживала ботов на 5 секунд, оказалось бесполезной.
Боты все также сыпались на сайт.
3. После консультации с разработчиком Antibot, было принято решение включить и настроить облачную версию данного продукта.
Благо, локальная версия уже была установлена на сайте.
18.12.2020 утром все было настроено. Но ложкой дегтя стало то, что те кто нагнал сайт ботов, перенастроили алгоритм бота, теперь бот начал кликать на заглушку антибота и проходить на сайт.
121 бот прошел на сайт автоматически и 242 кликнули на кнопку перехода на сайт.
Для тех кто не в курсе, в ситуации когда посетитель сайта по каким либо параметрам подпадает под бот трафик, появляется заглушка приблизительно такого вида. Если вы человек, вы кликните на кнопку и беспрепятственно пройдете на сайт.
4. Понимая, что атакующая сторона изменила алгоритм действия ботов, был внесены изменения в настройки антибота.
Теперь ботам выводилась капча и отсутствовала кнопка по которой можно кликнуть и перейти на сайт.
Заглушка Антибота теперь выглядела так.
После чего поток ботов был остановлен.
Развитие событий после остановки спам ботов
Как вы понимаете, остановить поток бот трафика не равно окончание истории и полное отключение Антибота!
Развитие событий последних дней, лишь укрепило уверенность моего клиента в том, что он сделал правильный выбор в защите сайта. Хотя и выбирать то особо не из чего. Мониторинг сети интернет, не дал 100% ответа по способам борьбы с подобного рода атаками.
Вернемся к событиям и их развитию.
Как я уже писал ранее, атакующая сайт сторона (назовем их так) меняет алгоритмы действий ботов.
Ранее это проявилось в том, что после установки Антибота и остановки бот трафика, через несколько часов боты вдруг научились кликать по кнопке, для прохода на сайт.
Сейчас же можно наблюдать изменение активности спам ботов. Если 20.12.2020 был пик 7221 спам-бот в сутки, и активность бот трафика заметно уменьшилась, то сегодня утром 29.12.2020, статистика Антибота зафиксировала рекордную цифру почти в 10,000 ботов которые были остановлены.
Смотрим картинку ниже:
А теперь представим, что весь это спам-бот трафик навалился на ваш интернет магазин, в который приходит 50-100 посетителей в сутки. Понятно, что загрузка виртуального хостинга, либо VPS/VDS увеличится и может наступить момент, когда ваш сайт "упадет". Либо вам придет письмо от хостинг провайдера о превышении лимитов и необходимости перейти на более дорогой тарифный план.
Как видно на графике, суммарная загрузка по дням, составила 5,1% от лимита.
А вот суммарная загрузка виртуального хостинга в день когда была ослаблена защита Антибота и на сайт прошло 2376 спам ботов. Она составила 39,5% от лимита.
Путем несложных вычислений получаем цифру в 6100 посетителей в сутки.
Это значит, что при сегодняшней нагрузке в 10000 посетителей за 10 часов, сайт моего клиента уже должен был лежать!
Так как атака спам-ботов еще не закончилась, я решил что буду добавлять сюда, статистику Антибота. И держать в курсе все кого заинтересовала данная ситуация и себе на память.
Статистика спам ботов на сайте и загрузка виртуального сервера (в спойлере):
Выигран бой но битва с ботами продолжается
Далее оставалось лишь регулярно просматривать статистику антибота и наблюдать за снижающейся активностью ботов.
21.12.2020 после обеда, цифра в разделе антибота "Не прошли" остановилась на 1852.
Утром следующего дня, было принято решение ослабить защиту антибота, так как бот трафика небо вообще.
Была отключена рекапча и включена возможность прохода на сайт по нажатию кнопки.
А через несколько часов моего отсутствия возле компьютера, статистика антибота показала новый всплеск активности.
759 прошло на сайт кликнув по кнопке на заглушке.
Настройки антибота были возвращены в жесткий режим защиты от ботов, и на момент написания данной статьи атаки продолжались.
Вывод:
И так друзья, мой опыт наглядно показал эффективность борьбы с подобного рода ботным трафиком облачной версией Антибот.
Это лишь один пример использования Антибота.
Данный продукт имеет много функций в том числе и недокументированных, по защите сайтов на большинстве движков.
Кому то достаточно установить локальную (бесплатную весрсию) как в решении по редиректу на субдомен, а кому то нужно приобрести облачную версию. На думаю, что владельцу интернет магазина с хорошей посещаемостью будет дорого заплатить 25$ в год, за использование облачного сервиса антибота.
Если вам необходима помощь в установке и настройке Antibot, вы можете написать мне через форму обратной связи, либо обратится к разработчику антибота https://antibot.cloud/
Эпилог по данной спам атаке ботами
Прошли праздники. Наблюдение за действиями спамера, показали некую последовательность действий в атаках.
- Спам запросы идут с реферером (Referer (от ошибочного написания англ.referrer — отсылающий, направляющий) — в протоколе HTTP один из заголовков запроса клиента. Содержит URL источника запроса. Если перейти с одной страницы на другую, referer будет содержать адрес первой страницы.) https://yandex.ru/search/?lr=
- А таки из разный стран.
- Спам запросы периодически меняются. Они могут соответствовать тематике сайта, быть пустыми, либо черными.
- Атаки разные по активности, максимум доходил до 2166 ботов которые не прошли.
Списочек фейк рефереров (на память):
- 1. http://yandex.ru/searchapp?text=
- 2. https://yabs.yandex.ru/
- 3. https://yandex.ru/search/?lr=191&text=
- 4. https://yandex.ru/search/pad/?lr=6&text=
Пообщавшись с заказчиком (владельцем сайта) решили действовать более радикально. И переходить к более жесткой защите.
Было решено:
- Заблокировать доступ к сайту из всех стран кроме ближнего зарубежья.
- Заблокировать все IP которые попадают на заглушку и имеют реферер https://yandex.ru/search/?lr=*
Блокирует доступ из разных стран
Список стран в формате ISO 3166-1 alpha-2 code взять в интернете. За 10 минут при помощи Excel и Notepad++, был приведен к виду который понимает Антибобт. Список был благополучно импортирован в Антибот. Кому надо мой список, забирайте.
Список всех стран, кроме России, Украины, Беларуси.
Выборка и блокировка IP адресов спам ботов
После того, как все страны были заблокированы, спам боты стали приходить исключительноиз России и Украины.
Лог запросов Антибота 09.01.2021
Один из запросов при анализе логов.
Список IP адресов попавших на заглушку Антибота (со статусом post).
А дальше все стало еще проще.
Так как рекапча была отключена ранее, вслед за ней была отключена кнопка "Перейти на сайт" в заглушке Антибота.
Теперь осталось отфильтровывать неугодные запросы и блокировать IP с которых они приходят. Предполагаю что пул прокси серверов у злоумышленника не резиновый, и в конце концов все они будут забанены.
Для поиска IP откроем "Лог запросов", и найдем все адреса не прошедших проверку Антибта с реферером https://yandex.ru/search/?lr=.
Вот так выглядит фильтр. (Картинка ниже)
Получаем IP всех ботов. Так как на данном сайте в данный момент времени 98% ботов, я блокировал всех, без разбора.
Вычленив все IP спам ботов при помощи регулярных выражений экселя и ноупада++, получил небольшой список.
Список IP адресов всех по попавших на заглушку (и непрошедших) за ночь.
Добавив к каждому IP адресу нужное окончание "|black|post", импортируем их в Антибот.
Импорт IP адресов в Антибот.
Статистика заблокированных спам ботов на 09.01.2021.
Просмотрев сегодня утром статистику Антибота, был сделан вывод, что атака прекратилась.
Как на долго была прекращена атака мы узнаем позднее.
Если продолжится, придется и далее блокировать IP пачками.
Посмотрев количество заблокированных адресов, был разочарован. Их оказалось всего 154.
Возникло предположение, что у моего оппонента закончился пул купленных прокси серверов. А вот купить ли он новый пул, мы узнаем позднее. Ведь еще 6 месяцев впереди.
11.01.2021 9-00.
После вчерашних вялых атак, когда Антиботом было заблокировано всего 42 бота, а не прошли 232, был сделан вывод, что мой оппонент держит руку на пульсе.
Такая статистика говорит о том, что он уже не использует зарубежные прокси, а выбрал только РУ и УА.
Скриншот статистики ниже.
Также видно, что сегодня, спам ботов которые не прошли, уже 1328. Значится мой друг прикупил новый пул прокси серверов и зарядил свою адскую спам машину.
Но я то вижу, что ни одного его говно запроса не прошло на сайт!
Отфильтровал еще 92 IP и добавил в блеклист Антибота.
Вечерком отфильтрую еще. На сегодня всё.
12.01.2020
Сегодняшнее утро принесло еще 89 IP адресов для блокировки.
В статистике явно видно снижение активности спам ботов после 2021.01.10. Предположительно в этот день был "заряжен" свежий пул прокси серверов.
Картинка ниже.
Увеличение количества заблокированных и уменьшение в столбце "Не прошли" свидетельствует от том, что за 2-3 дня, будет заблокирован весь пул прокси серверов. И спамер будет вынужден покупать новый.
Интересно, сколько денег и времени, он потратит за пол года.
Обычно я баню IP ботов два иногда три раза в день. Сегодня решил, что следующая фильтрация будет через сутки.
Посмотрим, сколько будет IP.
13.1.2021 9-00
Сегодняшняя статистика за прошедшие сутки, показала эффективность выбранной стратегии по защите от спам ботов с порно запросами. Всего 36 IP адресов было отфильтровано. Прикольно то, что сейчас запросы идут с ключами соответствующими тематике сайта. Но такой финт я видел уже ни раз и не два. Но как только будет включена кнопка Антибота для перехода на сайт. Сразу попрут адулт запросы.
Список заблокированных IP ниже:
А статистика выглядит вот так:
Видно что активность упала и спам боты не проходят на сайт. Посмотрим, что же теперь предпримет мой "друг".
14.01.2021
Сегодняшнее утро дало надежду на то, что будет много IP спам ботов для блокировки. Глядя на статистику.
Но оказалось, что новых IP не так уж и много. После выгрузки из статистики, их было 211. А удалив дубликаты я был разочарован, их оказалось всего 72.
Далее писать тут статистику нет смысла.
Алгоритм и способ воздействия на сайт изучен и описан. Далее решу, надо ли вообще блокировать адреса неугодных ботов, или нет.
На данный момент времени данный спам не несет угрозы сайту, так как дальше заглушки Антибота не проходит.
Владелец сайта доволен результатом проведенной работы.
Кому интересно дальнейшее развитие событий, пишите комментарии.
Спасибо Mik Foxi и его Антиботу за помощь в борьбе с ботами и спамом!
Добавлено 23.03.2021
Шло время и Mik Foxi решил облегчить жизнь владельцам сайтов с Антибтом, написав скриптик.
Также если при рефспаме в реферере с яндекса виден ключевик в GET переменной text= , то в tpl.txt (заглушку антибота) в самое начало разместить этот код:
<?php
// для защиты от поддельных рефереров с яндекса:
$testreferer = parse_url($ab_config['referer']);
if (isset($testreferer['query'])) {
parse_str($testreferer['query'], $inquiries);
}
if (isset($inquiries['text'])) {
if (@trim($inquiries['text']) != '') {
echo '404';
$add = @$antibot_db->exec("INSERT INTO rules (search, rule, comment) VALUES ('".$ab_config['ip']."', 'black', 'many_buttons_ban / refspam / ".date("Y.m.d H:i", $ab_config['time'])."');");
die();
}
}
?>Это будет блокировать дальнейшее прохождение этих ботов.
В10 строке $add... это добавление IP в черный список, для надежности, но можно и удалить эту строку, если не хотите радикально банить.
