Антибот ПОПУЛЯРНЫЕ БОТЫ, которых можно пустить на сайт
ПОПУЛЯРНЫЕ БОТЫ, которых можно пустить на сайт.
![хорошие боты которых можно пускать на сайт]()
Список популярных ботов для таблицы № 3 правил. Для определения по части User-Agent. Не нужно добавлять к себе всех ботов, берите только тех, которые точно вам нужны на сайте. Если в этой таблице в столбце PTR пусто, значит и при добавлении бота в свои правила ничего не заполнять в поле PTR. Но пустой PTR - это потенциальная вероятность пустить фейкового (поддельного) бота, т.к. не будет строгой проверки PTR по цепочке "IP→PTR→IP".
Обратите внимание, что PTR в 3 таблице правил указывается в некоторых случаях с точкой в начале, это сделано для того, чтобы захватить как можно больше соответствие, т.к сравнение значений идет поиском в строке. В 5 таблице правил если вы используете правила по PTR то там указывать строго домен, без точки в начале и сравнивается строгое соответствие хоста.
Если на сайте есть прием онлайн оплаты, то также не забывать про ботов эквайрингов и мерчантов (банков).
Если ботов соц сетей разрешили не сразу, то учтите, что они на некоторое время кэшируют запрос к сайту и повторно не спешат обращаться к сайту. Правильность работы доступа для таких ботов проверять на новых URL ваших сайтов, например добавив в конец URL дополнительные рандомные GET переменные, чтобы бот соц сети сделал новое обращение. К примеру у вас URL /page.html то в соц сеть добавить URL вида /page.html?blabla
Если используете Cloudflare, то возможно он блокирует доступ некоторым ботам. Например если у вас такие правила Cloudflare.
В 1 и 2 таблицах правил будут появляться IP адреса этих ботов. Если включить лог GOODIP, то там будут записи, означающие что бот прошел без препятствий и не видел присутствия скрипта Антибот. А вот если боты в логе попадают в FAKE лог, значит или правило настроено не правильно или это реально фейк бот.
Источник: https://antibot.cloud/FAQ/good-bots.html
Список популярных ботов для таблицы № 3 правил. Для определения по части User-Agent. Не нужно добавлять к себе всех ботов, берите только тех, которые точно вам нужны на сайте. Если в этой таблице в столбце PTR пусто, значит и при добавлении бота в свои правила ничего не заполнять в поле PTR. Но пустой PTR - это потенциальная вероятность пустить фейкового (поддельного) бота, т.к. не будет строгой проверки PTR по цепочке "IP→PTR→IP".
| user-agent (part) | PTR | comment |
|---|---|---|
| AdsBot-Google | .google.com | Adwords bot |
| AhrefsBot | ahrefs.com | Ahrefs - SEO Tools |
| Applebot | .applebot.apple.com | See http://www.apple.com/go/applebot |
| Baiduspider | crawl.baidu.com | Baidu indexer |
| BingPreview | search.msn.com | Check Bing Mobile Page Adaptation |
| Chrome-Lighthouse | .google.com | PageSpeed Insights: https://pagespeed.web.dev/ |
| FeedFetcher-Google | .google.com | Google News |
| Google Favicon | .google.com | Google Favicon Bot |
| Google-AMPHTML | .google.com | Google AMP bot |
| Google-Ads | .google.com | Adwords bot (Google-Ads-Creatives-Assistant) |
| Google-Adwords | .google.com | Adwords bot (Google-Adwords-Instant & Google-AdWords-Express) |
| Google-InspectionTool | .googlebot.com | Поисковый робот Google-InspectionTool используется инструментами тестирования Search Console, в том числе предназначенными для проверки расширенных результатов и проверки URL. Помимо агента пользователя и его токена, он имитирует работу робота Googlebot. |
| Google-Site-Verification | .googlebot.com .google.com | Check for Google Search Console |
| Google-Structured-Data-Testing-Tool | .google.com | New Structured Data Testing Tool |
| GoogleAdSenseInfeed | .google.com | Если используете AdSense на сайте |
| Googlebot | .googlebot.com | GoogleBot (main indexer) |
| Google-Read-Aloud | .google.com | Бот озвучивания текста от Google |
| HostTracker | https://www.host-tracker.com/ | |
| Mail.RU_Bot | .mail.ru .smailru.net | All Bots Mail.RU Indexers |
| MailRuConnect | .smailru.net | Мой мир (mail.ru) |
| Mediapartners | .googlebot.com .google.com | Самый важный AdSense bot, если размещаете рекламу на своем сайте |
| OdklBot | .odnoklassniki.ru | Однокласники |
| Pinterestbot | .pinterest.com | https://help.pinterest.com/en/business/article/pinterest-crawler |
| SemrushBot | semrush.com | https://www.semrush.com/bot/ |
| SeznamBot | .seznam.cz | https://napoveda.seznam.cz/en/seznambot-crawler/ |
| TelegramBot | .ptr.telegram.org | В таблицу правил № 1 также добавить подсеть: 149.154.160.0/22 Могут быть и другие ip. Должен быть в списке выше чем Twitterbot. Или в 5 таблице по asname в ALLOW: Telegram Messenger |
| Twitterbot | .twttr.com 199.16.15 | Могут быть и другие ip |
| Для предпросмотра ссылок | ||
| Yahoo! Slurp | .yahoo.net | Yahoo Bots |
| admantx | Если используете AdSense на сайте | |
| bingbot | search.msn.com | Bing.com indexer |
| facebookexternalhit | .fbsv.net 66.220.149. 31.13. 2a03:2880: | Могут быть и другие адреса |
| googleweblight | .google.com | https://en.wikipedia.org/wiki/Google_Web_Light |
| msnbot | search.msn.com | Additional Indexer Bing.com |
| pingdom | pingdom.com | WebsitePerformance and Availability Monitoring |
| uptimerobot | uptimerobot.com | UptimeRobot: Free Website Monitoring Service |
| vkShare | .vk.com .vkontakte.ru .go.mail.ru .userapi.ru | Могут быть и другие адреса или можно ничего не указывать |
| w3.org | .w3.org | W3C Markup Validation Service |
| yandex.com | .yandex.ru .yandex.net .yandex.com | All Yandex bots |
Обратите внимание, что PTR в 3 таблице правил указывается в некоторых случаях с точкой в начале, это сделано для того, чтобы захватить как можно больше соответствие, т.к сравнение значений идет поиском в строке. В 5 таблице правил если вы используете правила по PTR то там указывать строго домен, без точки в начале и сравнивается строгое соответствие хоста.
Если на сайте есть прием онлайн оплаты, то также не забывать про ботов эквайрингов и мерчантов (банков).
Если ботов соц сетей разрешили не сразу, то учтите, что они на некоторое время кэшируют запрос к сайту и повторно не спешат обращаться к сайту. Правильность работы доступа для таких ботов проверять на новых URL ваших сайтов, например добавив в конец URL дополнительные рандомные GET переменные, чтобы бот соц сети сделал новое обращение. К примеру у вас URL /page.html то в соц сеть добавить URL вида /page.html?blabla
Если используете Cloudflare, то возможно он блокирует доступ некоторым ботам. Например если у вас такие правила Cloudflare.
Как понять, что хорошие боты попадают на сайт без проблем?
В 1 и 2 таблицах правил будут появляться IP адреса этих ботов. Если включить лог GOODIP, то там будут записи, означающие что бот прошел без препятствий и не видел присутствия скрипта Антибот. А вот если боты в логе попадают в FAKE лог, значит или правило настроено не правильно или это реально фейк бот.
3_ab_se_20231127135621.zip [1.74 Kb] (cкачиваний: 7)
Источник: https://antibot.cloud/FAQ/good-bots.html
