«Ограничено Robots.txt» в Инструментах Google для веб-мастеров, если robots.txt не существует

В Инструментах Google для веб-мастеров у меня есть 832 ошибки в карте сайта с ошибкой "URL-адрес ограничен robots.txt". У меня нет файла robots.txt, а метатег robots равен «index, follow».

У меня действительно есть файл robots.txt, и дата его существования вполне может соответствовать дате ошибок сканирования в Инструментах Google для веб-мастеров.

Тем не менее, на информационной панели показано, что эти ошибки сканирования остаются «обновлено 23 сентября 2011 г.» (вчера). Все ошибки сканирования имеют возраст около 3 недель, что, вероятно, произошло до того, как я удалил файл robots.txt.

Является ли тот факт, что ошибки сканирования остались со вчерашнего дня, что указывает на то, что Google не перезаписал сайт?

Google попытался снова загрузить /robots.txt, всего 4 часа назад, и не нашел его, и не будет в течение нескольких недель.

Нужно ли пинговать Google, чтобы снова сканировать сайт?

1 голос | спросил Steve 24 thEurope/Moscowp30Europe/Moscow09bEurope/MoscowSat, 24 Sep 2011 18:22:52 +0400 2011, 18:22:52

1 ответ


2

Возможно, вы захотите установить более разрешающий robots.txt, чтобы робот Googlebot нашел что-то для загрузки и работы с ним. Некоторое время он будет ждать, если robots.txt вернет ошибку 404, если она была непреднамеренной с вашей стороны.

Try:

User-Agent: *
Disallow:
ответил Mike Scott 24 thEurope/Moscowp30Europe/Moscow09bEurope/MoscowSat, 24 Sep 2011 19:11:39 +0400 2011, 19:11:39

Похожие вопросы

Популярные теги

security × 330linux × 316macos × 2827 × 268performance × 244command-line × 241sql-server × 235joomla-3.x × 222java × 189c++ × 186windows × 180cisco × 168bash × 158c# × 142gmail × 139arduino-uno × 139javascript × 134ssh × 133seo × 132mysql × 132