Как я могу запретить Googlebot индексировать URL веб-службы?

У меня есть проблема с googlebot и bingbot для доступа к нашему веб-сервису. У нас есть приложение для поиска, созданное в aspx, которое интегрировано в веб-сайт drupal. Пользователи выполняют поиск на основе почтового кода или города через drupal, а поисковый запрос выводится через aspx. Проблема заключается в том, что google /bing продолжает индексировать страницы с запросом aspx, и мы получаем 404 ошибки.

Как я могу запретить googlebot индексировать веб-службу. Мы находимся на IIS 7.5. Установили ли мы правило на сервере? Я попытался заблокировать его в файле robots.txt, но не уверен, есть ли у меня правильный синтаксис.

Disallow: /*?
User-agent: Googlebot
Noindex: /office/default.aspx
Noindex: /?keyword
Noindex: /el​ectronics/locationdetails.aspx?
Noindex: /electronics/communitydetails.aspx?
Noindex: /electronics/Communitylist.aspx?
Noindex: /office/communitysearch.aspx?
Noindex: /Electronics/Communitylist.aspx?
Noindex: /Office/LocationDetails.aspx?
3 голоса | спросил tiki16 7 FebruaryEurope/MoscowbThu, 07 Feb 2013 22:05:59 +0400000000pmThu, 07 Feb 2013 22:05:59 +040013 2013, 22:05:59

2 ответа


4

Ваш robots.txt файл не соответствует спецификация robots.txt (вы должны указать агент пользователя перед директивами, и я не считаю, что Noindex - действительная директива).

Рассмотрим следующие обновления:

User-agent: googlebot
Disallow: /Office/LocationDetails.aspx
Disallow: /office/default.aspx
Disallow: /Electronics/Communitylist.aspx
Disallow: /electronics/locationdetails.aspx
Disallow: /electronics/Communitydetails.aspx
Disallow: /electronics/communitydetails.aspx

... В качестве альтернативы вы можете настроить свой веб-сервер (или приложение), чтобы добавить noindex /none X-Robots-Tag, если это необходимо, как описано подробно в метаданные роботов и спецификации HTTP-заголовка X-Robots-Tag .

ответил danlefree 7 FebruaryEurope/MoscowbThu, 07 Feb 2013 23:28:52 +0400000000pmThu, 07 Feb 2013 23:28:52 +040013 2013, 23:28:52
0

Используйте тег Meta Robots «NoINDEX, NOFOLLOW» на каждой странице под заголовком заголовка или в некоторых директивах в robots.txt выполнит эту работу за вас.

ответил Amit Yarashi 8 FebruaryEurope/MoscowbFri, 08 Feb 2013 10:05:55 +0400000000amFri, 08 Feb 2013 10:05:55 +040013 2013, 10:05:55

Похожие вопросы

Популярные теги

security × 330linux × 316macos × 2827 × 268performance × 244command-line × 241sql-server × 235joomla-3.x × 222java × 189c++ × 186windows × 180cisco × 168bash × 158c# × 142gmail × 139arduino-uno × 139javascript × 134ssh × 133seo × 132mysql × 132