Robots.txt и файлы Sitemap

Если я блокирую веб-страницу, скажем, 404Error.aspx, в роботах, txt (я не вижу причин для индексации этой страницы Google). Тем не менее, я все еще включаю эту страницу в XML-карту сайта или нет?

Edit:

Если я хотел, чтобы моя страница была проиндексирована (Google следит за ссылками в ней), но не отображалась в результатах поиска, должен ли я удалить robots.txt и использовать метатег robots с "noindex"?

1 голос | спросил TheGateKeeper 7 12011vEurope/Moscow11bEurope/MoscowMon, 07 Nov 2011 17:10:48 +0400 2011, 17:10:48

2 ответа


1
  

Если я хочу, чтобы моя страница была проиндексирована (Google следит за ссылками в ней),   но не отображаются в результатах поиска, я должен удалить robots.txt и использовать   метатег роботов с "noindex"?

Да.

ответил John Conde 7 12011vEurope/Moscow11bEurope/MoscowMon, 07 Nov 2011 17:49:32 +0400 2011, 17:49:32
1

Если вы хотите, чтобы Google и другие поисковые системы не указывали в своей странице указатель на эту страницу, я не вижу смысла иметь ссылку и в карте сайта. Вы должны иметь ссылку только в вашем robots.txt

ответил Aurelio De Rosa 7 12011vEurope/Moscow11bEurope/MoscowMon, 07 Nov 2011 17:16:04 +0400 2011, 17:16:04

Похожие вопросы

Популярные теги

security × 330linux × 316macos × 2827 × 268performance × 244command-line × 241sql-server × 235joomla-3.x × 222java × 189c++ × 186windows × 180cisco × 168bash × 158c# × 142gmail × 139arduino-uno × 139javascript × 134ssh × 133seo × 132mysql × 132