Необходимо поощрять Google обновлять файл robots.txt [duplicate]

    

У этого вопроса уже есть ответ:

    
  •              Google cache robots.txt?                                      7 ответов                          
  •     

Мой старый файл robots.txt

User-agent: *
Disallow: /

Блокирует меня для загрузки нового файла Sitemap, а также блокирует меня для извлечения robots.txt вручную. Я не знаю, что делать.

1 голос | спросил user220297 20 Mayam14 2014, 04:10:10

1 ответ


1

Googlebot будет повторно извлекать файл robots.txt чаще, чем большинство других файлов на вашем веб-сервере. Обычно вам приходится ждать менее 24 часов. из документации Google :

  

Запрос robots.txt обычно кэшируется в течение одного дня, но может кэшироваться дольше в ситуациях, когда обновление кешированной версии невозможно (например, из-за тайм-аутов или ошибок 5xx). Кэшированный ответ может использоваться разными искателями. Google может увеличить или уменьшить время жизни кеша на основе HTTP-заголовков max-age Cache-Control.

Я не уверен, что вы имеете в виду, когда говорите, что ваш старый файл robots.txt блокирует вас от получения нового вручную. Роботы не подчиняются robots.txt с целью извлечения robots.txt. Роботы периодически извлекают файл robots.txt, даже если вы должны положить строку Disallow: /robots.txt в файл. Невозможно использовать файл robots.txt для предотвращения проверки роботами robots.txt.

Один из способов заставить робота Googlebot немедленно загрузить страницу - использовать функцию «Получить как Google» в Инструменты Google для веб-мастеров (в меню «Сканирование»). Вы можете использовать эту функцию, чтобы заставить робота Google сразу выбрать ваш новый файл robots.txt.

В Инструментах для веб-мастеров также есть функция «Заблокированные URL-адреса» (также в меню «Обход»), которая показывает вам, что представляет собой ваш текущий файл robots.txt, и позволяет вам проверить, какие URL-адреса заблокированы им. Вы можете изменить файл robots.txt в этом инструменте, чтобы убедиться, что изменения блокируют и разблокируют ожидаемые URL-адреса.

ответил Stephen Ostermiller 20 Mayam14 2014, 06:12:38

Похожие вопросы

Популярные теги

security × 330linux × 316macos × 2827 × 268performance × 244command-line × 241sql-server × 235joomla-3.x × 222java × 189c++ × 186windows × 180cisco × 168bash × 158c# × 142gmail × 139arduino-uno × 139javascript × 134ssh × 133seo × 132mysql × 132