Переходы из Яндекс по порно запросам в яндекс метрике и гугл аналитике
название сайта
Авторизация

Порно запросы в Яндекс метрике

+17
AntiBot26 комментариев
Яндекс Метрика - странные переходы c порно запросами средствами https://antibot.cloud.


Кейс по борьбе с ботами Антиботом
Предыстория:

Несколько лет назад у меня была подобная ситуация. Запустив новый сайт на дроп домене, примерно через месяц я обнаружил резкий рост посещаемости с запросами порнографического характера.
Тогда этому событию значения не придал. Запросы сыпались может месяц может больше, потом все прекратилось. Но органический трафик из поисковых систем, так на сайт и не пришел.

Бывает скажете вы...
 

История одного клиента


Приболевший не по своей вине ресурс https://rosserial.in/

Обратился ко мне человек за консультацией, аккурат на предмет молодого сайта на котором я делал ранее SEO оптимизацию.  
На этот ресурс через месяц после старта, вдруг пошел органический трафик с яндекса. (ну а потом полилась рекой чернуха.)

Посещаемость с 15-20 в сутки дошла до 341.

Первый подъем посещаемости


И запросы соответствовали тематике сайта.

Картинка запросов в яндексе ниже:

Запросы в Яндекс метрике
А на то, что все посетители были на сайте до 15 секунд и просмотрели только одну станицу, никто и внимания не обратил.
 


В течении 16 дней, посещаемость колебалась от 30 до 106 посетителей в сутки.

Посещаемость за 16 дней

Увидел мой заказчик очередную свечку прироста трафика (посещаемость дошла до 452 в сутки), возрадовался. Посмотрел он запросы, все хорошо. Никаких подозрений, запросы соответствовали тематике сайта на 100%.


Такой рост посещаемости продолжался три дня. Посещаемость поднялась почти до 1к. 

Рост посещаемости по белым запросам

А вот 17 числа, трафик еще подрос до 2,5 к. Возрадовался мой клиент и решил посмотреть статистику внимательнее. 

И вебвизоре его поджидал шок контент, в Яндекс Метрике отображались переходы с Яндекса по запросам порнографического характера.

Часть этих запросов на скрине ниже.

Черные запросы в метрике - первый день черной атаки


Еще одним проявление ботного трафика была метка в статистике liveinternet.ru.

Метка в статистике liveinternet.ru
Мой клиент обеспокоился и попросил помощи в решении данной проблемы. 

Позднее, когда я посмотрел лог файл запросов Antibot, который я ранее установил владельцу сайта, делая оптимизацию, я увидел такую картину.

Оказалось что, локальная версия антибота (не путать с облачной), все эти три дня когда происходил рост посещаемости уже резала бот трафик.

Запросы в антиботе
 
Посмотрев эти запросы и увеличивающуюся нагрузку на хостинг, я решил что кто то пытается загнать сайт под фильтр.

Нагрузка на хостинг
 
Думаю, что почти все вебмастера и владельцы сайтов слышали про различные фильтры, которые накладывают поисковые системы на сайты. Какие то фильтры за слишком быстрый прирост анкорных обратных ссылок, какие то за переспам ключевых слов на сайте.

Но ведь есть и фильтры за накрутку трафика. Хоть поисковые системы и отрицают наличие таких фильтров, но они есть!
Не зря же люди пишут статьи на тему - Как вывести сайт из-под фильтра Яндекса за накрутку поведенческих факторов.
 
Еще одна версия, для чего это делается, попытка убрать сайт из «семейного поиска». 



Борьба с ботами


1. Сайт был проверен на вирусы, на наличие скрытых ссылок. Ничего подозрительного выявлено не было.

2. Была предпринята попытка спрятать сайт за cloudflare и включит режим Under Attack Mode.

cloudflare режим Under Attack Mode

Никаких результатов данный режим не дал. Заглушка клоудфлор, которая задерживала ботов на 5 секунд, оказалось бесполезной.
Боты все также сыпались на сайт. 

3. После консультации с разработчиком Antibot, было принято решение включить и настроить облачную версию данного продукта.

Благо, локальная версия уже была установлена на сайте.

18.12.2020 утром все было настроено. Но ложкой дегтя стало то, что те кто нагнал сайт ботов, перенастроили алгоритм бота, теперь бот начал кликать на заглушку антибота и проходить на сайт. 

Статистика после включения антибота облачной версии

121 бот прошел на сайт автоматически и 242 кликнули на кнопку перехода на сайт.

Для тех кто не в курсе, в ситуации когда посетитель сайта по каким либо параметрам подпадает под бот трафик, появляется заглушка приблизительно такого вида. Если вы человек, вы кликните на кнопку и беспрепятственно пройдете на сайт.

Заглушка антибота для подозрительных посетителей и ботов

4. Понимая, что атакующая сторона изменила алгоритм действия ботов, был внесены изменения в настройки антибота. 
Теперь ботам выводилась капча и отсутствовала кнопка по которой можно кликнуть и перейти на сайт. 

Заглушка Антибота теперь выглядела так.

Заглушка Антибота с рекапчей

 После чего поток ботов был остановлен.



Развитие событий после остановки спам ботов


Как вы понимаете, остановить поток бот трафика не равно окончание истории и полное отключение Антибота! 
Развитие событий последних дней, лишь укрепило уверенность моего клиента в том,  что он сделал правильный выбор в защите сайта. Хотя и выбирать то особо не из чего. Мониторинг сети интернет, не дал 100% ответа по способам борьбы с подобного рода атаками.

Вернемся к событиям и их развитию. 

Как я уже писал ранее, атакующая сайт сторона (назовем их так) меняет алгоритмы действий ботов.
Ранее это проявилось в том, что после установки Антибота и остановки бот трафика, через несколько часов боты вдруг научились кликать по кнопке, для прохода на сайт. 

Сейчас же можно наблюдать изменение активности спам ботов. Если 20.12.2020 был пик 7221 спам-бот в сутки, и активность бот трафика заметно уменьшилась, то сегодня утром 29.12.2020, статистика Антибота зафиксировала рекордную цифру почти в 10,000 ботов которые были остановлены.

Смотрим картинку ниже:

Статистика остановленных спам ботов утро 29,12,2020


А теперь представим, что весь это спам-бот трафик навалился на ваш интернет магазин, в который приходит 50-100 посетителей в сутки. Понятно, что загрузка виртуального хостинга, либо VPS/VDS увеличится и может наступить момент, когда ваш сайт "упадет". Либо вам придет письмо от хостинг провайдера о превышении лимитов и необходимости перейти на более дорогой тарифный план. 


Как видно на графике, суммарная загрузка по дням, составила 5,1% от лимита.

Нагрузка на виртуальный хостинг при использовании Антибота

А вот суммарная загрузка виртуального хостинга в день когда была ослаблена защита Антибота и на сайт прошло 2376 спам ботов. Она составила 39,5% от лимита

Нагрузка на виртуальный хостинг при использовании Антибота в обычном режиме
 
Путем несложных вычислений получаем цифру в 6100 посетителей в сутки

Это значит, что при сегодняшней нагрузке в 10000 посетителей за 10 часов, сайт моего клиента уже должен был лежать! 


Так как атака спам-ботов еще не закончилась, я решил что буду добавлять сюда, статистику Антибота. И держать в курсе все кого заинтересовала данная ситуация и себе на память. 


Статистика спам ботов на сайте и загрузка виртуального сервера (в спойлере):



Выигран бой но битва с ботами продолжается


Далее оставалось лишь регулярно просматривать статистику антибота и наблюдать за снижающейся активностью ботов.

21.12.2020 после обеда, цифра в разделе антибота "Не прошли" остановилась на 1852.

Утром следующего дня, было принято решение ослабить защиту антибота, так как бот трафика небо вообще. 

Была отключена рекапча и включена возможность прохода на сайт по нажатию кнопки. 

А через несколько часов моего отсутствия возле компьютера, статистика антибота показала новый всплеск активности. 

759 прошло на сайт кликнув по кнопке на заглушке.

Снижающаяся активность антибота

 
Настройки антибота были возвращены в жесткий режим защиты от ботов, и на момент написания данной статьи атаки продолжались. 

Статистика Антибота на 25,12,2020

Вывод:


И так друзья, мой опыт наглядно показал эффективность борьбы с подобного рода ботным трафиком облачной версией Антибот.

Это лишь один пример использования Антибота.

Данный продукт имеет много функций в том числе и недокументированных, по защите сайтов на большинстве движков.

Кому то достаточно установить локальную (бесплатную весрсию) как в решении по редиректу на субдомен, а кому то нужно приобрести облачную версию. На думаю, что владельцу интернет магазина с хорошей посещаемостью будет дорого заплатить 25$ в год, за использование облачного сервиса антибота.


Если вам необходима помощь в установке и настройке Antibot, вы можете написать мне через форму обратной связи, либо обратится к разработчику антибота https://antibot.cloud/



Эпилог по данной спам атаке ботами


Прошли праздники. Наблюдение за действиями спамера, показали некую последовательность действий в атаках. 

  • Спам запросы идут с реферером (Referer (от ошибочного написания англ.referrer — отсылающий, направляющий) — в протоколе HTTP один из заголовков запроса клиента. Содержит URL источника запроса. Если перейти с одной страницы на другую, referer будет содержать адрес первой страницы.) https://yandex.ru/search/?lr=
  • А таки из разный стран.
  • Спам запросы периодически меняются. Они могут соответствовать тематике сайта, быть пустыми, либо черными.
  • Атаки разные по активности, максимум доходил до 2166 ботов которые не прошли.

Списочек фейк рефереров (на память):

  1. 1. http://yandex.ru/searchapp?text=
  2. 2. https://yabs.yandex.ru/
  3. 3. https://yandex.ru/search/?lr=191&text=
  4. 4. https://yandex.ru/search/pad/?lr=6&text=



Пообщавшись с заказчиком (владельцем сайта) решили действовать более радикально. И переходить к более жесткой защите.

Было решено:

  • Заблокировать доступ к сайту из всех стран кроме ближнего зарубежья.
  • Заблокировать все IP которые попадают на заглушку и имеют реферер https://yandex.ru/search/?lr=*

Блокирует доступ из разных стран


Список стран в формате ISO 3166-1 alpha-2 code взять в интернете. За 10 минут при помощи Excel и Notepad++, был приведен к виду который понимает Антибобт. Список был благополучно импортирован в Антибот. Кому надо мой список, забирайте.

Список всех стран, кроме России, Украины, Беларуси.




Выборка и блокировка IP адресов спам ботов
После того, как все страны были заблокированы, спам боты стали приходить исключительноиз России и Украины.


Лог запросов Антибота 09.01.2021

Лог запросов Антибота 09.01.2021


Один из запросов при анализе логов.

Один из запросов при анализе логов

Список IP адресов попавших на заглушку Антибота (со статусом post).

Список IP адресов попавших на заглушку Антибота (со статусом post)

А дальше все стало еще проще.

Так как рекапча была отключена ранее, вслед за ней была отключена кнопка "Перейти на сайт" в заглушке Антибота.

Теперь осталось отфильтровывать неугодные запросы и блокировать IP с которых они приходят. Предполагаю что пул прокси серверов у злоумышленника не резиновый, и в конце концов все они будут забанены.

Для поиска IP откроем "Лог запросов", и найдем все адреса не прошедших проверку Антибта с реферером https://yandex.ru/search/?lr=.


Вот так выглядит фильтр. (Картинка ниже)

Отфильтровываем ботов по рефереру

Получаем IP всех ботов. Так как на данном сайте в данный момент времени 98% ботов, я блокировал всех, без разбора.

Вычленив все IP спам ботов при помощи регулярных выражений экселя и ноупада++, получил небольшой список.


Список IP адресов всех по попавших на заглушку (и непрошедших) за ночь.

Список IP адресов всех по попавших на заглушку за ночь

Добавив к каждому IP адресу нужное окончание "|black|post", импортируем их в Антибот.

Импорт IP адресов в Антибот.

Импорт IP адресов в Антибот


Статистика заблокированных спам ботов на 09.01.2021.

Статистика заблокированных спам ботов


Просмотрев сегодня утром статистику Антибота, был сделан вывод, что атака прекратилась.

Статистика активности спам ботов на 10.01.2021


Как на долго была прекращена атака мы узнаем позднее.

Если продолжится, придется и далее блокировать IP пачками.


Посмотрев количество заблокированных адресов, был разочарован. Их оказалось всего 154.

заблокированные ip
Возникло предположение, что у моего оппонента закончился пул купленных прокси серверов. А вот купить ли он новый пул, мы узнаем позднее. Ведь еще 6 месяцев впереди.



11.01.2021 9-00.

После вчерашних вялых атак, когда Антиботом было заблокировано всего 42 бота, а не прошли 232, был сделан вывод, что мой оппонент держит руку на пульсе.  smile

Такая статистика говорит о том, что он уже не использует зарубежные прокси, а выбрал только РУ и УА.

Скриншот статистики ниже. 


Антибот статистика на 11.01.2021 утро
Также видно, что сегодня, спам ботов которые не прошли, уже 1328. Значится мой друг прикупил новый пул прокси серверов и зарядил свою адскую спам машину.  laughing

Но я то вижу, что ни одного его говно запроса не прошло на сайт!

Отфильтровал еще 92 IP и добавил в блеклист Антибота.

 

Вечерком отфильтрую еще. На сегодня всё.


12.01.2020

Сегодняшнее утро принесло еще 89 IP адресов для блокировки.



В статистике явно видно снижение активности спам ботов после 2021.01.10. Предположительно в этот день был "заряжен" свежий пул прокси серверов.

Картинка ниже.

Статистика активности спам ботов на 12.01.2021

 Увеличение количества заблокированных и уменьшение в столбце "Не прошли" свидетельствует от том, что за 2-3 дня, будет заблокирован весь пул прокси серверов. И спамер будет вынужден покупать новый. 

Интересно, сколько денег и времени, он потратит за пол года.  flushed

Обычно я баню IP ботов два иногда три раза в день. Сегодня решил, что следующая фильтрация будет через сутки.
Посмотрим, сколько будет IP.



13.1.2021 9-00

Сегодняшняя статистика за прошедшие сутки, показала эффективность выбранной стратегии по защите от спам ботов с порно запросами. Всего 36 IP адресов было отфильтровано. Прикольно то, что сейчас запросы идут с ключами соответствующими тематике сайта. Но такой финт я видел уже ни раз и не два. Но как только будет включена кнопка Антибота для перехода на сайт. Сразу попрут адулт запросы.

Список заблокированных IP ниже:



А статистика выглядит вот так:

Антибот статистика на 13.01.2021 утро 9-00


Видно что активность упала и спам боты не проходят на сайт. Посмотрим, что же теперь предпримет мой "друг". 



14.01.2021

Сегодняшнее утро дало надежду на то, что будет много IP спам ботов для блокировки. Глядя на статистику.

Антибот статистика на 14.01.2021 утро 10-00
Но оказалось, что новых IP не так уж и много. После выгрузки из статистики, их было 211. А удалив дубликаты я был разочарован, их оказалось всего 72.

Далее писать тут статистику нет смысла. 
Алгоритм и способ воздействия на сайт изучен и описан. Далее решу, надо ли вообще блокировать адреса неугодных ботов, или нет.

На данный момент времени данный спам не несет угрозы сайту, так как дальше заглушки Антибота не проходит. 

Владелец сайта доволен результатом проведенной работы. 

Кому интересно дальнейшее развитие событий, пишите комментарии.

Спасибо Mik Foxi и его Антиботу за помощь в борьбе с ботами и спамом!



Добавлено 23.03.2021

Шло время и Mik Foxi решил облегчить жизнь владельцам сайтов с Антибтом, написав скриптик.

Также если при рефспаме в реферере с яндекса виден ключевик в GET переменной text= , то в tpl.txt (заглушку антибота) в самое начало разместить этот код:

<?php
// для защиты от поддельных рефереров с яндекса:
$testreferer = parse_url($ab_config['referer']);
if (isset($testreferer['query'])) {
parse_str($testreferer['query'], $inquiries);
}
if (isset($inquiries['text'])) {
if (@trim($inquiries['text']) != '') {
echo '404';
$add = @$antibot_db->exec("INSERT INTO rules (search, rule, comment) VALUES ('".$ab_config['ip']."', 'black', 'many_buttons_ban / refspam / ".date("Y.m.d H:i", $ab_config['time'])."');");
die();
}
}
?>

Это будет блокировать дальнейшее прохождение этих ботов.

В10 строке $add... это добавление IP в черный список, для надежности, но можно и удалить эту строку, если не хотите радикально банить.
Читайте также

Отметьте картинки:*
  1. Виталий
    Виталий
    19 февраля 2021 10:44
    То не прокси, то взломанные роутеры.

    1. thin
      20 февраля 2021 17:13
      Может и так.

      Главное, что это источники IP такие же как прокси, которые можно блокировать.
  2. Михаил
    Михаил
    6 февраля 2021 12:14
    Поздравляю вас, с завтрашнего дня, боты уйдут!
    1. thin
      6 февраля 2021 19:18
      Вот спасибо! 

      Наверное нет времени, плеера Россия 1 надо менять. Работы много.  laughing

      Спасибо за опыт!
      1. Миша
        Миша
        7 февраля 2021 00:06
        Нет, это был эксперимент, и экспериментировать луче на молодом сайте, а еще лучше на чужом,  так как свой жалко.
        1. thin
          7 февраля 2021 11:43
          По моему скромному мнению:

          Ну да, кто ж будет вредить своему сайту. ))

          Потому как такими действиями, даже с правильными ключами, сайту только вред. По нескольким причинам.

          1. Действия однотипны, что стразу вычисляется поисковыми системами.
          2. Постоянно повторяющиеся ip.
          3. Переход не из поисковой системы, а с подменой реферера.
          После таких действий, сайт попадает под фильтр. 

          Единственное где можно это попытаться применить, это накрутить посещаемость и продать сайт за дорого. Жаль, если вы тратите свою жизнь на это. 

          А убивать молодые сайты, смысл?

          По большому счету, для того, чтобы минимизировать вред от таких действий, достаточно удалить метрику, аналитику и переехать на VPS. ))


  3. Михаил
    Михаил
    26 января 2021 13:22
    Как судьба сайта, накрутка все идет, есть реальный органический трафик?
    1. thin
      27 января 2021 11:22
      Доброго времени.

      Судьба сайта извилистая.  smirk

      Накрутка по синусоиде. Несколько дней вялая, потом насыпают по 100-200. Недавно около 5к насыпали. Но они не проходят на сайт, все на заглушке остаются, либо заблокированы уже.

      В сутки блокирую 5-15 IP. Даже скучно. Заказчику отчитаться нечем. ))

      Органика потихоньку поднимается, 20-40 уников в сутки.

      1. Миша,
        Миша,
        27 января 2021 13:38
        Это очень мало, моему сайту месяц и уже 8к было. Интересно посмотреть, пойдет, хоть когда то трафик)
        1. thin
          27 января 2021 17:59
          На этом тоже до 12к доходило. Только ботов. )))

          Может и на твоем одни боты гуляют!?
          1. Маша
            Маша
            29 января 2021 22:40
            На моем нет) А над этим опыты проходят.
  4. Иван
    Иван
    11 января 2021 18:22
    Может нет ни какого реф спама, а яндекс чудит?
    1. thin
      12 января 2021 09:08
      smile smile smile Ага... Только почему то после включения антибота, Яндекс перестал чудить.

      И да, это ведь не первый случай только в моей практике.
  5. М
    М
    10 января 2021 21:02
    Просмотрев сегодня утром статистику Антибота, был сделан вывод, что атака прекратилась.
    Думаю, не прекратилась, просто спамер напился и уснул.
    1. thin
      10 января 2021 21:55
      smile Может и так.
  6. Михаил
    Михаил
    9 января 2021 05:38
    Привет. Что дальше, интересно состояние ресурса?
    1. thin
      10 января 2021 21:56
      Состояние ресурса бодрое.  smile 
      Идут вялые атаки уже по РУ и УА

      Выборочно проверяются и в блек лист.
  7. Михаил
    Михаил
    30 декабря 2020 13:41
    Я думаю спамер, этого и ждет, чтоб не отключали антибота, месяцев 6 без перерыва и сайт можно выкидывать.
    1. thin
      30 декабря 2020 21:37
      И откуда такой вывод про 6 месяцев?

      У меня есть проекты, где установлен Антибот и идет рост органики. Единственный нюанс в том, что Антибот в обычном режиме, а не в таком как на этом примере.

      Ваши предложения по борьбе со спам ботами подобного рода.
      1. Маша
        Маша
        30 декабря 2020 23:59
        Да все просто) Месяйев через 6 посмотрим.
        1. thin
          31 декабря 2020 09:45
          1. Даже по статистике, не каждый (даже самый СЕО правильный) сайт поднимается. (( Мой клиент об этом знает.

          2. Даже если не будет роста после таких атак, можно переклеить домен.

          Но мне приятно, что вы следите за развитием событий и вас есть интерес узнать, когда и чем это закончится. :-)




          1. Миша
            Миша
            2 января 2021 18:58
            Я бы сказал бы переклеется, но вам это не поможет!
            1. thin
              2 января 2021 22:32
              Не я принимаю решение о переклейке и других действиях на обсуждаемом ресурсе. 

              А ваш ответ, наталкивает на мысли, что это вы инициируете эту спам атаку.  wink
            2. Вася
              Вася
              3 января 2021 14:30
              Ты даже, на сколько ты прав
            3. thin
              3 января 2021 19:52
              Ну пол года, так пол года. )))
            4. Николай
              14 марта 2021 23:43
              Здравствуйте.все эти действия со спамом на сайт и вашей защитой от них происходят только в яндексе? 
new.thin.kiev.ua
Авторизация