Несколько ботов одновременно

У вас был очень странный набор журналов доступа httpd сегодня до того, как был перенесен мод с поддержкой скорости и apache. Казалось, что следующие боты, казалось, индексировали сайт, как сумасшедший, сразу.

  • Googlebot
  • Googlebot-Image
  • bingbot
  • Yahoo! чавкать
  • yandexBot
  • Baiduspider
  • Sogu Web spider
  • AhrefsBot
  • SeznamBot
  • MSNBot

Плюс еще пару я не могу найти сразу.

Это выглядит очень подозрительно для меня. В числе бот-запросов есть несколько нечетных запросов URL-адресов, которые не находятся на сайте, поэтому их не посещают (такие как word press admin URLs, и это даже не сайт wp).

IP-адреса ботов выглядят подлинными. Кто-нибудь знает, как кто-то может вызвать бот-шторм? Никогда не видел этого раньше - кажется очень странным, не могу поверить, что это простое совпадение.

3 голоса | спросил Jon Holland 24 Jpm1000000pmTue, 24 Jan 2017 13:27:14 +030017 2017, 13:27:14

1 ответ


2

Есть случаи, когда большое количество поисковых систем будет пытаться индексировать ваш сайт сразу. Как уже упоминалось в комментариях, это может быть из одного или нескольких из большого количества инструментов ping в сети, которые сообщают всем поисковым системам, что есть новый контент для индексирования.

Вы сделали правильную вещь для проверки IP-адреса как решения для Bing и Google, поскольку это самое главное, чтобы гарантировать, что сканирование происходит из законного местоположения.

Не обязательно беспокоиться о чем-то, иногда по чистой случайности большое количество поисковых систем может попробовать и сканировать ваш сайт одновременно, особенно если кто-то добавляет новую ссылку на ваш сайт для страницы вашего сайта что поисковые системы еще не знают.

ответил Chris Rutherfurd 26 Jam1000000amThu, 26 Jan 2017 03:40:17 +030017 2017, 03:40:17

Похожие вопросы

Популярные теги

security × 330linux × 316macos × 2827 × 268performance × 244command-line × 241sql-server × 235joomla-3.x × 222java × 189c++ × 186windows × 180cisco × 168bash × 158c# × 142gmail × 139arduino-uno × 139javascript × 134ssh × 133seo × 132mysql × 132