Если я не хочу устанавливать какое-либо особое поведение, нормально ли, если я не хочу иметь файл robots.txt?

Если я не хочу устанавливать какое-либо особое поведение, это нормально, если я не хочу иметь файл robots.txt?

Или может ли недостаток одного быть вредным?

28 голосов | спросил Dan Dumitru 9 J000000Friday10 2010, 12:25:13

6 ответов


30

Отсутствие файла robots.txt не будет вредным. На веб-сайте robotstxt.org :

  

Чтобы разрешить всем роботам полный доступ

     

Пользовательский агент: *
    Disallow:

     

(или просто создайте пустой файл /robots.txt или не используйте его вообще)

Однако, даже если вы не указываете ничего в файле robots.txt, это хороший способ информировать поисковые системы местоположения вашего XML-файла Sitemap . Вы можете сделать это, добавив строку вверху вашего файла robots.txt, который выглядит примерно так:

  

Карта сайта: http://www.example.com/sitemap-host1.xml

Вы также должны знать, что при создании веб-журналов не будет создано 404 записей.

ответил Nicholas Head 12 J000000Thursday12 2012, 21:54:59
21

Если у вас нет «robots.txt», ваш журнал ошибок получит много файлов размером 404 на файле, что может быть своего рода раздражением, подобно тому, как у вас нет значка.

ответил 9 J000000Friday10 2010, 13:58:24
6

Я думаю, что было бы иметь в порядке, иначе огромные полосы веб-страниц были бы неиндексируемыми веб-пауками.

Нет robots.txt - это то же самое, что и «разрешить индексирование всеми» robots.txt почти по определению.

ответил Jeff Atwood 9 J000000Friday10 2010, 12:32:16
2

Отсутствие файла robots.txt оставляет его искателю, чтобы решить, что он может и чего не может сделать. Поскольку для избежания какой-либо двусмысленности требуется всего несколько секунд, почему бы просто не сделать так, чтобы все агенты могли получить доступ ко всему?

ответил Tim Post 9 J000000Friday10 2010, 12:44:04
0

Ну, так как robots.txt содержит адрес sitemap , не имея того, чтобы быть потенциально опасным.

ответил Andreas Bonini 9 J000000Friday10 2010, 12:34:11
0

В зависимости от вашего контента не должно быть проблем с отсутствием файла robots, если вам нужно индексировать каждую страницу на вашем сайте поисковыми системами.

ответил seanl 9 J000000Friday10 2010, 12:42:48

Похожие вопросы

Популярные теги

security × 330linux × 316macos × 2827 × 268performance × 244command-line × 241sql-server × 235joomla-3.x × 222java × 189c++ × 186windows × 180cisco × 168bash × 158c# × 142gmail × 139arduino-uno × 139javascript × 134ssh × 133seo × 132mysql × 132