Проверяет ли htpasswd аутентификацию Google на сканирование моего сайта?

У меня есть сайт, на котором я хочу продолжить тестирование, прежде чем публиковать его, поэтому я не хочу, чтобы Google начал обходить сайт, так как во время тестирования будет большой объем содержимого мусора.

В настоящее время у меня установлена ​​аутентификация с помощью htpasswd, это предотвратит сканирование сайтов или роботов от моего сайта?

5 голосов | спросил going 5 Mayam11 2011, 03:55:54

1 ответ


9

Да, если сайт требует проверки подлинности, роботы не смогут его обходить.

Вы также можете указать файл robots.txt, чтобы весь сайт был запрещен

ответил Daveo 5 Mayam11 2011, 04:16:46

Похожие вопросы

Популярные теги

security × 330linux × 316macos × 2827 × 268performance × 244command-line × 241sql-server × 235joomla-3.x × 222java × 189c++ × 186windows × 180cisco × 168bash × 158c# × 142gmail × 139arduino-uno × 139javascript × 134ssh × 133seo × 132mysql × 132