Модуль динамических IP-ограничений IIS и робот Googlebot

Я рассматриваю использование IIS Dynamic IP Restrictions Module , чтобы усложнить DoS (отказ) of Service). Но я не уверен, как это будет работать для поисковых роботов, таких как Googlebot.

Любая идея?

5 голосов | спросил tugberk 28 FebruaryEurope/MoscowbTue, 28 Feb 2012 13:13:28 +0400000000pmTue, 28 Feb 2012 13:13:28 +040012 2012, 13:13:28

1 ответ


5

В комментариях упоминалось, что это можно сделать с помощью пользовательского агента google's whitelisting. Это плохая идея: многие боты могут олицетворять ее, а затем смогут дозировать ваш сайт.

Глядя на список функций этого скрипта, кажется, что он использует два критерия для определения, является ли это атакой dos:

  
  • Количество одновременных запросов.
  •   
  • Количество запросов в течение определенного периода времени.
  •   

Для google вы можете легко ограничить обе эти вещи ниже порога, используемого сценарием, установив пользовательская скорость сканирования в инструментах Google для веб-мастеров . Это будет означать, что Google не будет сканировать ваш сайт так часто, но они не будут перегружать ваш сервер.

Я не уверен, что вы могли бы сделать с другими поисковыми системами, помимо того, что пороговые значения для вашего скрипта выше скорости сканирования, которую они используют.

ответил 14 thEurope/Moscowp30Europe/Moscow09bEurope/MoscowFri, 14 Sep 2012 03:01:49 +0400 2012, 03:01:49

Похожие вопросы

Популярные теги

security × 330linux × 316macos × 2827 × 268performance × 244command-line × 241sql-server × 235joomla-3.x × 222java × 189c++ × 186windows × 180cisco × 168bash × 158c# × 142gmail × 139arduino-uno × 139javascript × 134ssh × 133seo × 132mysql × 132