robots.txt — все вопросы

2ответа
4 голоса
Как я могу заблокировать пользователей Alexa Toolbar?
Есть идеи, как заблокировать пользователей Alexa Toolbar? Я не хочу появляться в рейтинге, пока мы находимся в бета-версии ... Я вижу, вы можете заблокировать их поисковую систему с помощью Use
2ответа
4 голоса
Как работать с RobotsTxtMiddleware в Scrapy Framework?
В Scrapy Framework есть RobotsTxtMiddleware. Нужно убедиться, что Scrapy уважает robots.txt. Нужно установить ROBOTSTXT_OBEY = True в настройках, тогда Scrapy будет соблюдать политики robots.txt. Я
3ответа
4 голоса
Можно ли запретить поисковым роботам бесконечно сканировать ссылки на страницы в результатах поиска?
Наша команда SEO хотела бы открыть нашу главную страницу результатов динамического поиска для пауков и убрать nofollow из мета-тегов. В настоящее время он доступен для пауков, разрешив путь в robots
4ответа
4 голоса
robots.txt: user-agent: Googlebot disallow: /Google все еще индексирует
Посмотрите robots.txt этого сайта: fr2.dk/robots.txt Содержание: User-Agent: Googlebot Disallow: / Это должно сказать Google не индексировать сайт, нет? Если это правда, почему сайт
1ответ
4 голоса
robots.txt какие папки запретить - SEO?
В настоящее время я пишу свой файл robots.txt, и у меня возникли проблемы с решением, следует ли мне разрешить или запретить некоторые папки для целей SEO. Вот папки, которые у меня есть: /cs
2ответа
4 голоса
Можно ли перечислить карты сайта для разных доменов в одном файле robots.txt?
У нас есть несколько веб-сайтов, обслуживаемых одним и тем же экземпляром Sitecore и одним и тем же рабочим веб-сервером. Каждый веб-сайт имеет свой собственный основной файл и карту сайта с новостя
1ответ
4 голоса
Как заставить Apache /robots.txt вести к файлу, независимо от домена?
Я запускаю локальный сервер со следующими URL-адресами: foo.self bar.self blah-blah.self Приведенный выше URL обрабатывается следующим оператором VirtualHost: <VirtualHost *:80> Use
4ответа
4 голоса
Получить robots.txt, чтобы заблокировать доступ к URL на сайте после символа «?», Но индексировать саму страницу
У меня есть небольшой сайт magento, который состоит из URL страниц, таких как:Однако у меня также есть страницы, которые включают фильтры (например, цена и цвет), и однажды такой пример будет:или жеПр
1ответ
4 голоса
robots.txt htaccess заблокировать Google
В моем файле .htaccess у меня есть:Это запрещает чтение любого текстового файла, но поисковая система Google выдает мне следующую ошибку:Как я могу изменить .htaccess, чтобы разрешить Google читать ro
3ответа
4 голоса
Как я могу прочитать текстовый файл, который содержит правильный массив в php?
Я использовал это, чтобы записать массив в текстовый файл:Теперь я хочу прочитать его обратно в PHP так же, как я бы прочитал обычный массив?как это сделать?Я довольно новичок в этом, и я в настоящее
1ответ
4 голоса
Robots.txt, чтобы запретить все и разрешить только определенные части сайта /страниц.Поддерживается ли «allow» сканерами, такими как Ultraseek и FAST?
Просто хотел узнать, можно ли запретить весь сайт для сканеров и разрешить только определенные веб-страницы или разделы?Поддерживается ли «allow» сканерами, такими как FAST и Ultraseek?
3ответа
5 голосов
Как развернуть другую версию файла для разных конфигураций сборки?
В частности, я хотел бы развернуть другой файл robots.txt для разных конфигураций сборки. У нас есть промежуточная среда, которая общедоступна в Интернете, но мы запрещаем все в файле robots.txt для
4ответа
5 голосов
Можно ли перечислить несколько пользовательских агентов в одной строке?
Можно ли в robots.txt давать одну инструкцию нескольким ботам, не обращая на это внимания? Пример: User-agent: googlebot yahoobot microsoftbot Disallow: /boringstuff/
1ответ
6 голосов
Django - загрузка Robots.txt через общие представления
Я загрузил файл robots.txt в каталог шаблонов на рабочем сервере. Я использую общие представления; from django.views.generic import TemplateView (r'^robots\.txt$', TemplateView.as_view(template_n
1ответ
6 голосов
Angular2 + веб-пакет не развертывать robots.txt
Я создаю веб-сайт с [email protected] Я использую Webpack с настройками по умолчанию (как зависимость). Вот мой package.json "dependencies": { "@angular/common": "2.1.2", "@angular/compiler": "2.
1ответ
8 голосов
Как настроить файл robots.txt для блокировки всех каталогов, кроме 2
Я не хочу, чтобы поисковые системы индексировали большую часть моего сайта. Однако я хочу, чтобы поисковые системы проиндексировали 2 папки (и их дочерние элементы). Это то, что я настроил, но я
4ответа
8 голосов
Googlebots Игнорирует robots.txt? [закрыто]
У меня есть сайт со следующим robots.txt в корне: User-agent: * Disabled: / User-agent: Googlebot Disabled: / User-agent: Googlebot-Image Disallow: / А страницы этого сайта сканируются робот
4ответа
15 голосов
как предотвратить постановку на индексирование в поисковых системах
Я бы хотел, чтобы мои промежуточные веб-сайты не индексировались поисковыми системами (Google в первую очередь). Я слышал, что Wordpress хорош в этом, но я бы хотел быть технологически независимы
3ответа
19 голосов
Robots.txt Разрешить подпапку, но не родительскую
Кто-нибудь может объяснить правильную команду robots.txt для следующего сценария. Я хотел бы разрешить доступ к: /directory/subdirectory/.. Но я также хотел бы ограничить доступ к /director
4ответа
19 голосов
Robots.txt: разрешить только основные SE
Есть ли способ настроить robots.txt так, чтобы сайт принимал посещения ТОЛЬКО от Google, Yahoo! и пауки MSN?
1 2 3 4 5

Популярные теги

security × 330linux × 316macos × 2827 × 268performance × 244command-line × 241sql-server × 235joomla-3.x × 222java × 189c++ × 186windows × 180cisco × 168bash × 158c# × 142gmail × 139arduino-uno × 139javascript × 134ssh × 133seo × 132mysql × 132