Можно ли запретить поисковым роботам бесконечно сканировать ссылки на страницы в результатах поиска?

Наша команда SEO хотела бы открыть нашу главную страницу результатов динамического поиска для пауков и убрать nofollow из мета-тегов. В настоящее время он доступен для пауков, разрешив путь в robots.txt, но с мета-тегом «nofollow», который запрещает паукам выходить за пределы первой страницы.

<meta name="robots" content="index,nofollow">

Я обеспокоен тем, что если мы удалим nofollow, воздействие на нашу поисковую систему будет катастрофическим, поскольку пауки начнут ползать по всем страницам в наборе результатов. Буду признателен за совет относительно:

1) Есть ли способ удалить nofollow из метатега, но запретить паукам переходить только по определенным ссылкам на странице? Я прочитал смешанные мнения о rel = "nofollow", это жизнеспособный вариант?

<a rel="nofollow" href="http://www.mysite.com/paginglink" >Next Page</a>

2) Есть ли способ контролировать глубину проникновения пауков? Не было бы так плохо, если бы они нажали несколько страниц, а затем остановились.

3) На наших страницах результатов поиска есть стандартные ссылки «следующий /предыдущий», которые теоретически могут заставить пауков рекурсивно обращаться к страницам до бесконечности, как это повлияет на SEO?

Я понимаю, что разные пауки ведут себя по-разному, но в основном это касается крупных игроков, таких как Google, Yahoo, MSN.

Примечание наши страницы результатов поиска и ссылки на страницы не являются дружественными для ботов, поскольку они не переписаны и имеют строку запроса? name = value, но, как я видел, пауки больше не просто прерывать, когда они видят '?' страницы результатов индексируются с достойным рейтингом страниц.

4 голоса | спросил Peter 5 FriEurope/Moscow2008-12-05T21:20:24+03:00Europe/Moscow12bEurope/MoscowFri, 05 Dec 2008 21:20:24 +0300 2008, 21:20:24

3 ответа


0

Честно говоря, вы смотрите nofollow неправильно. Скорее всего, поисковые пауки уже особенно Google, Yahoo и MSN ищут на страницах nofollow, потому что им все равно нужно попасть на эти страницы, чтобы узнать, есть ли у них noindex.

Реальная проблема в том, что nofollow на самом деле не означает, что не следует , а просто означает, что не передает мою репутацию этой ссылке . Поэтому, если вы агрессивно не блокируете ботов, что не похоже на вас, изменение метатега ROBOTS и команд робота в ссылках не повлияет на производительность, поскольку они уже попадают на ваш сайт. Чтобы подтвердить это, просто посмотрите журнал HTTP-сервера.

Так что я голосую за то, чтобы вы не увидели никаких проблем с удалением ограничений робота.

ответил Nick Berardi 5 FriEurope/Moscow2008-12-05T21:39:00+03:00Europe/Moscow12bEurope/MoscowFri, 05 Dec 2008 21:39:00 +0300 2008, 21:39:00
0

Я видел, как Google индексирует систему календаря, в которой были относительные ссылки на каждую страницу до конца времени (19 января 2038 г. - см. http://en.wikipedia.org/wiki/Year_2038_problem ). Мы не замечали нагрузки на наши серверы до тех пор, пока она не обнаружила ошибку в исходном коде, связанную с датами в 2038 году.

Я не знаю о других поисковых системах, но Google предлагает ряд полезных инструментов для управления влиянием робота googlebot на инфраструктуру вашего сервера. См. http://www.google.com/webmasters/.

В инструментах для веб-мастеров есть возможность установить скорость сканирования для вашего сайта.

ответил Will Bickford 5 FriEurope/Moscow2008-12-05T21:30:59+03:00Europe/Moscow12bEurope/MoscowFri, 05 Dec 2008 21:30:59 +0300 2008, 21:30:59
0

Google-роботы достаточно умны, чтобы не обходить всю базу данных динамически генерируемых страниц, если URL-адреса дают некоторый намек на то, что они динамические (например, расширение файла .asp или .jsp и т. д. и числовые идентификаторы в качестве запроса). параметры). Если вы используете правила перезаписи, чтобы сделать ваши URL-адреса "дружественными", тогда ботам будет сложнее определить, являются ли они статической страницей, которую они читают, или динамически генерируемой страницей. См. эту статью Google для получения дополнительной информации о динамические и статические URL.

Возможно, вы также захотите создать Google Sitemap , чтобы дать ботовам лучшее представление о том, какие страницы на вашем сайте можно проиндексировать, а какие нет.

ответил Marc Novakowski 5 FriEurope/Moscow2008-12-05T21:23:33+03:00Europe/Moscow12bEurope/MoscowFri, 05 Dec 2008 21:23:33 +0300 2008, 21:23:33

Похожие вопросы

Популярные теги

security × 330linux × 316macos × 2827 × 268performance × 244command-line × 241sql-server × 235joomla-3.x × 222java × 189c++ × 186windows × 180cisco × 168bash × 158c# × 142gmail × 139arduino-uno × 139javascript × 134ssh × 133seo × 132mysql × 132