ПОПУЛЯРНЫЕ БОТЫ, которых можно пустить на сайт скачать xml
название сайта
Авторизация

Антибот ПОПУЛЯРНЫЕ БОТЫ, которых можно пустить на сайт

+1
AntiBot0 комментариев
ПОПУЛЯРНЫЕ БОТЫ, которых можно пустить на сайт.

хорошие боты которых можно пускать на сайт

Список популярных ботов для таблицы № 3 правил. Для определения по части User-Agent. Не нужно добавлять к себе всех ботов, берите только тех, которые точно вам нужны на сайте. Если в этой таблице в столбце PTR пусто, значит и при добавлении бота в свои правила ничего не заполнять в поле PTR. Но пустой PTR - это потенциальная вероятность пустить фейкового (поддельного) бота, т.к. не будет строгой проверки PTR по цепочке "IP→PTR→IP".

user-agent (part)PTRcomment
AdsBot-Google.google.comAdwords bot
AhrefsBotahrefs.comAhrefs - SEO Tools
Applebot.applebot.apple.comSee http://www.apple.com/go/applebot
Baiduspidercrawl.baidu.comBaidu indexer
BingPreviewsearch.msn.comCheck Bing Mobile Page Adaptation
Chrome-Lighthouse.google.comPageSpeed Insights: https://pagespeed.web.dev/
FeedFetcher-Google.google.comGoogle News
Google Favicon.google.comGoogle Favicon Bot
Google-AMPHTML.google.comGoogle AMP bot
Google-Ads.google.comAdwords bot (Google-Ads-Creatives-Assistant)
Google-Adwords.google.comAdwords bot (Google-Adwords-Instant & Google-AdWords-Express)
Google-InspectionTool.googlebot.comПоисковый робот Google-InspectionTool используется инструментами тестирования Search Console, в том числе предназначенными для проверки расширенных результатов и проверки URL. Помимо агента пользователя и его токена, он имитирует работу робота Googlebot.
Google-Site-Verification.googlebot.com .google.comCheck for Google Search Console
Google-Structured-Data-Testing-Tool.google.comNew Structured Data Testing Tool
GoogleAdSenseInfeed.google.comЕсли используете AdSense на сайте
Googlebot.googlebot.comGoogleBot (main indexer)
Google-Read-Aloud.google.comБот озвучивания текста от Google
HostTracker
https://www.host-tracker.com/
Mail.RU_Bot.mail.ru .smailru.netAll Bots Mail.RU Indexers
MailRuConnect.smailru.netМой мир (mail.ru)
Mediapartners.googlebot.com .google.comСамый важный AdSense bot, если размещаете рекламу на своем сайте
OdklBot.odnoklassniki.ruОднокласники
Pinterestbot.pinterest.comhttps://help.pinterest.com/en/business/article/pinterest-crawler
SemrushBotsemrush.comhttps://www.semrush.com/bot/
SeznamBot.seznam.czhttps://napoveda.seznam.cz/en/seznambot-crawler/
TelegramBot.ptr.telegram.orgВ таблицу правил № 1 также добавить подсеть: 149.154.160.0/22 Могут быть и другие ip. Должен быть в списке выше чем Twitterbot.
Или в 5 таблице по asname в ALLOW: Telegram Messenger
Twitterbot.twttr.com 199.16.15Могут быть и другие ip
WhatsApp
Для предпросмотра ссылок
Yahoo! Slurp.yahoo.netYahoo Bots
admantx
Если используете AdSense на сайте
bingbotsearch.msn.comBing.com indexer
facebookexternalhit.fbsv.net 66.220.149. 31.13. 2a03:2880:Могут быть и другие адреса
googleweblight.google.comhttps://en.wikipedia.org/wiki/Google_Web_Light
msnbotsearch.msn.comAdditional Indexer Bing.com
pingdompingdom.comWebsitePerformance and Availability Monitoring
uptimerobotuptimerobot.comUptimeRobot: Free Website Monitoring Service
vkShare.vk.com .vkontakte.ru .go.mail.ru .userapi.ruМогут быть и другие адреса или можно ничего не указывать
w3.org.w3.orgW3C Markup Validation Service
yandex.com.yandex.ru .yandex.net .yandex.comAll Yandex bots

Обратите внимание, что PTR в 3 таблице правил указывается в некоторых случаях с точкой в начале, это сделано для того, чтобы захватить как можно больше соответствие, т.к сравнение значений идет поиском в строке. В 5 таблице правил если вы используете правила по PTR то там указывать строго домен, без точки в начале и сравнивается строгое соответствие хоста.
Если на сайте есть прием онлайн оплаты, то также не забывать про ботов эквайрингов и мерчантов (банков).
Если ботов соц сетей разрешили не сразу, то учтите, что они на некоторое время кэшируют запрос к сайту и повторно не спешат обращаться к сайту. Правильность работы доступа для таких ботов проверять на новых URL ваших сайтов, например добавив в конец URL дополнительные рандомные GET переменные, чтобы бот соц сети сделал новое обращение. К примеру у вас URL /page.html то в соц сеть добавить URL вида /page.html?blabla
Если используете Cloudflare, то возможно он блокирует доступ некоторым ботам. Например если у вас такие правила Cloudflare.

Как понять, что хорошие боты попадают на сайт без проблем?

В 1 и 2 таблицах правил будут появляться IP адреса этих ботов. Если включить лог GOODIP, то там будут записи, означающие что бот прошел без препятствий и не видел присутствия скрипта Антибот. А вот если боты в логе попадают в FAKE лог, значит или правило настроено не правильно или это реально фейк бот.



3_ab_se_20231127135621.zip [1.74 Kb] (cкачиваний: 9)



Источник: https://antibot.cloud/FAQ/good-bots.html
Читайте также

Отметьте картинки:*
new.thin.kiev.ua
Авторизация