Можно ли использовать regex в файле robots.txt для блокировки URL-адресов?

У меня есть несколько динамически сгенерированных URL-адресов.

Можно ли использовать регулярное выражение для блокировки этих URL-адресов в файле robots.txt?

19 голосов | спросил Sudheera Njs 5 FriEurope/Moscow2014-12-05T09:32:12+03:00Europe/Moscow12bEurope/MoscowFri, 05 Dec 2014 09:32:12 +0300 2014, 09:32:12

1 ответ


24

Регулярные выражения недействительны в файле robots.txt, но Google, Bing и некоторые другие боты распознают некоторые соответствия шаблонов.

Скажите, хотите ли вы заблокировать все URL-адреса, содержащие example, где-то в URL-адресе, вы можете использовать запись в виде дикой карты *

User-agent: *
Disallow: /*example

Вы также можете использовать знак доллара $, чтобы указать, что URL-адреса должны заканчиваться таким образом. Поэтому, если вы хотите заблокировать все URL-адреса, которые заканчиваются example, но не URL-адреса, в которых используется example в другом месте URL-адреса, который вы могли бы использовать:

User-agent: *
Disallow: /*example$

Более подробную информацию о Google можно найти здесь: Характеристики Robots.txt , Bing здесь: Как создать файл Robots.txt и есть интерактивный путеводитель по Moz здесь

ответил Max 5 FriEurope/Moscow2014-12-05T09:55:34+03:00Europe/Moscow12bEurope/MoscowFri, 05 Dec 2014 09:55:34 +0300 2014, 09:55:34

Похожие вопросы

Популярные теги

security × 330linux × 316macos × 2827 × 268performance × 244command-line × 241sql-server × 235joomla-3.x × 222java × 189c++ × 186windows × 180cisco × 168bash × 158c# × 142gmail × 139arduino-uno × 139javascript × 134ssh × 133seo × 132mysql × 132