Что делать, если robots.txt запрещает себя?

User-agent: *
Disallow: /robots.txt

Что произойдет, если вы это сделаете? Будут ли поисковые системы сканировать robots.txt один раз, а затем никогда не сканировать его снова?

5 голосов | спросил clickbait 10 AM00000050000005231 2018, 05:47:52

1 ответ


7

Директивы Robots.txt не применяются к самому robots.txt. Сканеры могут извлекать файл robots.txt, даже если он запрещает себя.

На самом деле очень просто для robots.txt запретить себя. Многие веб-сайты запрещают все :

User-Agent: *
Disallow: /

Для того чтобы запретить все будет включать robots.txt. У меня тоже есть такие сайты. Несмотря на запрет всего, включая robots.txt, боты поисковых систем периодически обновляют файл robots.txt.

Google Мюллер недавно подтвердил, что робот Googlebot все еще сканирует запрещенный файл robots.txt: Запрет Robots.txt В Robots.txt не влияет на то, как Google обрабатывает его . Поэтому даже если вы специально вызвали код Disallow: /robots.txt, Google (и я подозреваю другие поисковые системы) не изменил бы их поведение.

ответил Stephen Ostermiller 10 PM00000010000000231 2018, 13:00:02

Похожие вопросы

Популярные теги

security × 330linux × 316macos × 2827 × 268performance × 244command-line × 241sql-server × 235joomla-3.x × 222java × 189c++ × 186windows × 180cisco × 168bash × 158c# × 142gmail × 139arduino-uno × 139javascript × 134ssh × 133seo × 132mysql × 132