hosting:blocked-user-agents

Различия

Показаны различия между двумя версиями страницы.

Ссылка на это сравнение

Предыдущая версия справа и слева Предыдущая версия
Следующая версия
Предыдущая версия
hosting:blocked-user-agents [2019/10/23 22:59]
karlov [2.36. Блокируемые User-Agent]
hosting:blocked-user-agents [2020/07/06 15:35] (текущий)
karlov
Строка 1: Строка 1:
-====== 2.36. Блокируемые User-Agent ======+====== 2.34. Блокируемые User-Agent ======
  
-Список User-Agent, которым ограничен доступ к хостингу (в ответ на запросы они получают [[hosting:errors:403|ответ 403]]): +===== Без возможности разблокировки ===== 
-  - ''JDatabaseDriverMysqli'' + 
-  - ''80legs.com'' +Список User-Agent, которым ограничен доступ к хостингу (в ответ на запросы они получают [[hosting:errors:403|ответ 403]]) и которых нельзя разблокировать
-  - ''DLE_Spider.exe'' +  - JDatabaseDriverMysqli 
-  - ''xpymep.exe'' +  - 80legs.com 
-  - ''libwww-perl'' +  - DLE_Spider.exe 
-  - ''BOT for JCE'' +  - xpymep.exe 
-  - ''coccoc'' +  - libwww-perl 
-  - ''heritrix'' +  - BOT for JCE 
-  - ''Aibot'' +  - coccoc 
-  - ''exabot.com'' +  - heritrix 
-  - ''butterfly'' +  - Aibot 
-  - ''CareerBot'' +  - exabot.com 
-  - ''FTRF'' +  - butterfly 
-  - ''%%www.exb.de%%'' +  - CareerBot 
-  - ''magpie-crawler'' +  - FTRF 
-  - ''SISTRIX'' +  - %%www.exb.de%% 
-  - ''radian6'' +  - magpie-crawler 
-  - ''BLEXBot'' +  - SISTRIX 
-  - ''JikeSpider'' +  - radian6 
-  - ''Sosospider'' +  - BLEXBot 
-  - ''Attentio'' +  - JikeSpider 
-  - ''filterdb.iss.net'' +  - Sosospider 
-  - ''cmscrawler'' +  - Attentio 
-  - ''tkl.iis.u-tokyo.ac.jp'' +  - filterdb.iss.net 
-  - ''J-BRO'' +  - cmscrawler 
-  - ''ApacheBench'' +  - tkl.iis.u-tokyo.ac.jp 
-  - ''meanpathbot'' +  - J-BRO 
-  - ''MJ12Bot'' +  - ApacheBench 
-  - ''Indo////XploitTools''+  - meanpathbot 
 +  - MJ12Bot 
 +  - Indo////XploitTools 
 + 
 +===== С возможностью разблокировки =====
  
 Некоторые User-Agent, используемые ботами, блокируются по причине создания бессмысленной нагрузки, но их блокировку можно отключить. Такая возможность доступна для ботов: Некоторые User-Agent, используемые ботами, блокируются по причине создания бессмысленной нагрузки, но их блокировку можно отключить. Такая возможность доступна для ботов:
-  - ''SemrushBot'' +  - SemrushBot 
-  - ''MegaIndex'' +  - MegaIndex 
-  - ''Dotbot'' +  - Dotbot 
-  - ''LTX71'' +  - LTX71 
-  - ''Nmap'' +  - Nmap 
-  - ''velen.io'' +  - velen.io 
-  - ''Re-re Studio'' +  - Re-re Studio 
-  - ''netEstate NE Crawler'' +  - netEstate NE Crawler 
-  - ''statdom.ru'' +  - statdom.ru 
-  - ''SEOkicks''+  - SEOkicks 
 +  - 7Siters 
 +  - Seekport Crawler 
 +  - serpstatbot 
 +  - panscient.com 
 +  - ZoominfoBot 
 +  - SearchAtlas 
 +  - DuckDuckBot 
 +  - AwarioRssBot 
 +  - AwarioSmartBot 
 +  - NetpeakSpiderBot 
 +  - GetIntent 
 +  - ia_archiver 
 +  - AspiegelBot 
 +  - WPScan 
 +  - %%https://gdnplus.com%% 
 +  - DuckDuckGo 
 +  - ApacheBench 
 +  - python-requests 
 +  - BorneoBot 
 +  - Ahrefs
  
-Чтобы отключить блокировку, в [[hosting:my-sites:site-settings|настройках сайта]] напротив «**Не блокировать ботов**» выберите ботов, которых не нужно блокировать:{{ :hosting:disable-bot-blocking.png?nolink |}}+==== Разблокировка ====
  
-Также можно самостоятельно [[hosting:htaccess:user-agent-restrict|ограничивать доступ]] любым другим User-Agent с помощью директив в ''[[hosting:htaccess|.htaccess]]''.+Чтобы отключить блокировку, в [[hosting:my-sites:site-settings|настройках сайта]] напротив «**Не блокировать ботов**» выберите ботов, которых не нужно блокировать, и сохраните изменения:{{ :hosting:disable-bot-blocking.png?nolink |}}
  
-===== Другие статьи =====+===== Самостоятельная блокировка =====
  
-{{indexmenu>.#1|nsort tsort}}+Любым другим User-Agent можно самостоятельно [[hosting:htaccess:user-agent-restrict|ограничивать доступ]] с помощью директив в [[hosting:htaccess|.htaccess]].
  • hosting/blocked-user-agents.1571860788.txt.gz
  • Последнее изменение: 2019/10/23 22:59
  • karlov