robots.txt — все вопросы

4ответа
15 голосов
как предотвратить постановку на индексирование в поисковых системах
Я бы хотел, чтобы мои промежуточные веб-сайты не индексировались поисковыми системами (Google в первую очередь). Я слышал, что Wordpress хорош в этом, но я бы хотел быть технологически независимы
3ответа
19 голосов
Robots.txt Разрешить подпапку, но не родительскую
Кто-нибудь может объяснить правильную команду robots.txt для следующего сценария. Я хотел бы разрешить доступ к: /directory/subdirectory/.. Но я также хотел бы ограничить доступ к /director
4ответа
19 голосов
Robots.txt: разрешить только основные SE
Есть ли способ настроить robots.txt так, чтобы сайт принимал посещения ТОЛЬКО от Google, Yahoo! и пауки MSN?
9ответов
23 голоса
Мета-тег против robots.txt
Лучше ли использовать метатеги * или файл robots.txt для информирования пауков /сканеров о включении или исключении страницы? Есть ли проблемы с использованием как метатегов, так и файла robot
4ответа
96 голосов
Как настроить robots.txt, чтобы разрешить все?
Мой robots.txt в Инструментах Google для веб-мастеров показывает следующие значения: User-agent: * Allow: / Что это значит? У меня нет достаточно знаний об этом, поэтому ищу вашу помощь. Я хочу
2ответа
3 голоса
Создайте уникальный файл robots.txt для каждого сайта по мультисайтовой установке
Кто-нибудь знает, как я могу иметь уникальный файл robots.txt для каждого домена, обслуживаемого моей установкой wp-multisite? Я выполнил поиск по плагинам, но не смог найти ничего подходящего.
1ответ
1 голос
Блокировка URL и канонические вопросы
Мы запустили магазин Magento и пытались заблокировать все страницы, кроме нескольких избранных. Похоже, что единственный способ сделать это - заблокировать прямые пути к файлам, находящимся в кор
1ответ
1 голос
«Ограничено Robots.txt» в Инструментах Google для веб-мастеров, если robots.txt не существует
В Инструментах Google для веб-мастеров у меня есть 832 ошибки в карте сайта с ошибкой "URL-адрес ограничен robots.txt". У меня нет файла robots.txt, а метатег robots равен «index, follow». У меня
2ответа
1 голос
Robots.txt и файлы Sitemap
Если я блокирую веб-страницу, скажем, 404Error.aspx, в роботах, txt (я не вижу причин для индексации этой страницы Google). Тем не менее, я все еще включаю эту страницу в XML-карту сайта или нет?
2ответа
1 голос
Должен ли сайт для мобильных устройств использовать robots.txt?
У меня есть мобильный сайт, отличный от соответствующего сайта для настольных компьютеров. Сайты имеют одинаковый контент, но файлы мобильных сайтов находятся в совершенно другом каталоге. На основно
1ответ
1 голос
Прекратить поиски, показывающие сайты домена tld, появляющиеся как подкаталог основного домена удерживающего сайта?
Я не уверен, является ли это проблемой, связанной с тем, как мой хостинг структурирован или нет. Допустим, основным доменом для моей учетной записи является maindomain.com (для целей обсуждения).
2ответа
1 голос
Как мне сделать так, чтобы Google не индексировал ни один из моих сайтов, кроме моего домена?
Disallow: / Я хочу, чтобы Google проиндексировал страницу индекса, но не более того. Будет ли это достичь?
4ответа
6 голосов
Как установить robots.txt глобально в nginx для всех виртуальных хостов
Я пытаюсь установить robots.txt для всех виртуальных хостов под http-сервером nginx. Я смог сделать это в Apache, поместив в main httpd.conf следующее: <Location "/robots.txt"> SetHandle
1ответ
1 голос
Запретить поисковики, прежде чем начать жить
Я хочу запретить поисковым системам индексировать мой веб-сайт перед его использованием. Если я просто сделаю robots.txt с помощью: User-agent: * Disallow: / Может ли это вызвать проблемы позж
2ответа
1 голос
Повлияет ли указание полного пути к веб-странице в файле robots.txt на мой сайт?
Это может быть глупый вопрос, но мне нужно уточнить мои сомнения, потому что они связаны с robots.txt . Мне нужно запретить путь к меткам на моем сайте, используя файл robots.txt . User-agent
2ответа
1 голос
Почему робот Yahoo открывает страницу, когда мой файл robots.txt настроен на запрет всех ботов?
Мой robots.txt: User-agent: * Disallow: / Страница с двумя каталогами ниже корня получает удар от бота Yahoo и получает 404: HTTP_REFERER: [empty string] HTTP_USER_AGENT: Mozilla/5.0 (compati
2ответа
1 голос
Посетители CPanel заполнены полосами пропуска
Вопрос: Странные и, казалось бы, случайные записи на консоли последних посетителей CPanel, показывающие IP-адреса, которые обращаются к файлам изображений без какого-либо ссылающегося URL-адреса и н
1ответ
1 голос
Удалите множество индексных страниц из бота Google из того же каталога.
Мой вопрос касается Google бота, seo и веб-мастера. может быть, это неправильное место для запроса, но если человек не знает, где он задает свой вопрос, он не знает !!! Если вы знаете ответ моего
2ответа
1 голос
Что лучше для SEO robots.txt или динамически созданного URL-адреса robots.txt?
Я полагался на наш динамически созданный пакет robots.txt пакета WordPress для нескольких сайтов, но его не удостаивали Google или Bing (URL-адреса плагинов индексировались, несмотря на правило Di
1ответ
1 голос
Ошибка «Синтаксис непонят» в анализе robots.txt инструментов Google для веб-мастеров при использовании RewriteRule
Чтобы перенаправить мой www.site.com в non-www, я использовал этот бит кода, найденный где-то в Интернете. RewriteCond %{HTTP_HOST} ^www.website.com [NC] RewriteRule ^(.*)$ http://website.com/$1 [
1 2 3 4 5

Популярные теги

security × 330linux × 316macos × 2827 × 268performance × 244command-line × 241sql-server × 235joomla-3.x × 222java × 189c++ × 186windows × 180cisco × 168bash × 158c# × 142gmail × 139arduino-uno × 139javascript × 134ssh × 133seo × 132mysql × 132