Могу ли я иметь как «запретить ничего», так и «запретить что-то» в моем robots.txt?

Мне нужно было обновить обновление до файла robots.txt, чтобы запретить доступ к подкаталогу. Был уже оператор disallow, но я добавил еще один, обновленный файл robots.txt ниже правилен?

Предыдущий файл robots.txt:

User-Agent: *
Disallow: 
Sitemap: http://example.com/sitemap.xml

Обновленный файл robots.txt (обратите внимание на добавление третьей строки):

User-Agent: *
Disallow: 
Disallow: /terms/*
Sitemap: http://example.com/sitemap.xml
2 голоса | спросил sam 7 Maypm18 2018, 17:14:47

1 ответ


3

Вы можете, но второе утверждение делает первый устаревшим. По существу, с точки зрения человека, вы говорите:

Все боты
Запретить ничего - так сканируй все, что хочешь Но запретить каталог «terms» - не сканировать, что Карта сайта здесь

Выше вы можете вывести вторую строку, чтобы сообщить ботам не сканировать каталог терминов.

Таким образом, это будет работать:

User-Agent: *
Disallow: /terms/
Sitemap: http://example.com/sitemap.xml
ответил Henry Visotski 7 Maypm18 2018, 17:52:24

Похожие вопросы

Популярные теги

security × 330linux × 316macos × 2827 × 268performance × 244command-line × 241sql-server × 235joomla-3.x × 222java × 189c++ × 186windows × 180cisco × 168bash × 158c# × 142gmail × 139arduino-uno × 139javascript × 134ssh × 133seo × 132mysql × 132