Каково поведение роботов по умолчанию, если нет метатега роботов?

Предполагая, что у меня есть страница без robots.txt и без метатеги . Каково поведение роботов по умолчанию? Они будут индексировать страницу и следовать ссылкам, как в:

<meta name="robots" content="index, follow" />

Я прошу, потому что я хочу знать, могу ли я безопасно удалить метатег.

5 голосов | спросил kleinfreund 7 Jpm1000000pmTue, 07 Jan 2014 23:59:09 +040014 2014, 23:59:09

1 ответ


5

Поведение роботов по умолчанию, если нет robots.txt , и метатег роботов, должен следовать ссылкам на странице и индексировать его.

Вот почему <meta name="robots" content="index, follow" /> не требуется, если вы хотите поведение роботов по умолчанию для вашей страницы.

ответил Zistoloen 8 Jam1000000amWed, 08 Jan 2014 00:16:18 +040014 2014, 00:16:18

Похожие вопросы

Популярные теги

security × 330linux × 316macos × 2827 × 268performance × 244command-line × 241sql-server × 235joomla-3.x × 222java × 189c++ × 186windows × 180cisco × 168bash × 158c# × 142gmail × 139arduino-uno × 139javascript × 134ssh × 133seo × 132mysql × 132