web-crawlers — все вопросы

1ответ
1 голос
MSNBot /BingBot не сообщает, что это бот?
У меня есть журналы apache с моего сервера, и я отфильтровываю посещения от ботов /сканеров /скребков, используя скрипт python, который проверяет строки агента пользователя, содержащие текст, такой
1ответ
1 голос
В строках User Agent что означает «AskTbTRL»?
Вот несколько примеров: http://www.botsvsbrowsers.com/listings.asp?search=asktbtrl Я бы догадался о боте, связанном с Ask.com, но, видимо, не в соответствии с их FAQ .
1ответ
1 голос
Инструмент веб-сканирования, который генерирует список всех привязок, используемых на сайте
Я ищу инструмент для сканирования веб-сайтов, который просматривает весь текст привязки на всем веб-сайте и создает список для проверки. Я хочу убедиться, что все якоря действительно описательны вне
4ответа
1 голос
Это плохо для SEO иметь сайт без навигации по клику?
У меня есть сайт, на котором пользователи могут получить доступ к большинству контента сайтов только через поиск. Если я создаю карту сайта с URL-адресами для всех возможных поисков, можно ли переход
1ответ
1 голос
Поисковые системы сканируют несуществующие субдомены
Несколько лет назад предыдущий разработчик добавил сайт моей компании в ферму ссылок, которую он запускал. В моей компании есть субдомен подстановочных знаков, поэтому любые субдомены вернут пользов
1ответ
1 голос
Посоветуете какой-нибудь инструмент для размещения файлов .docx на веб-сайте для просмотра, чтобы поисковые системы сканировали его?
Рекомендуйте любой инструмент для размещения файлов .docx на веб-сайте для просмотра, чтобы поисковые системы сканировали его без проблем. Я использую средство просмотра scribd, устанавливаю доку
2ответа
1 голос
Поддерживают ли другие поисковые системы синтаксис Google для сканирования приложений AJAX?
У Google есть действительно хороший документ, объясняющий, как веб-разработчики могут заставить Google сканировать -AJAX-версии своих веб-приложений, позволяющие Google индексировать сайты, загруж
1ответ
1 голос
Ahrefs постоянно проверяет мой сайт на наличие обратных ссылок
У меня есть сайт Magento, и я понимаю, что сканер ahrefs.com постоянно посещает мой сайт каждый день. Я захожу на ahrefs.com и проверяю свои обратные ссылки (они хорошие). Хорошо это или плохо,
1ответ
1 голос
Bingbot, сканирующий URL-адреса, такие как папки, вызывающий тысячи 404 ошибок
Я впервые начал видеть это чуть более двух месяцев назад на сайте, которым я управляю, но теперь я вижу это на нескольких других, которыми я управляю. Похоже, бот пытается разобрать URL-адрес в папк
1ответ
1 голос
Каковы будущие последствия блокировки поисковой системы сейчас?
На вопрос , заданный ранее на этом сайте в отношении сверхактивных тенденций сканирования Baidu, один пользователь comments :    Я бы заблокировал паука поисковой системы только в том случае, ес
2ответа
1 голос
Почему робот Yahoo открывает страницу, когда мой файл robots.txt настроен на запрет всех ботов?
Мой robots.txt: User-agent: * Disallow: / Страница с двумя каталогами ниже корня получает удар от бота Yahoo и получает 404: HTTP_REFERER: [empty string] HTTP_USER_AGENT: Mozilla/5.0 (compati
2ответа
1 голос
Что лучше для SEO robots.txt или динамически созданного URL-адреса robots.txt?
Я полагался на наш динамически созданный пакет robots.txt пакета WordPress для нескольких сайтов, но его не удостаивали Google или Bing (URL-адреса плагинов индексировались, несмотря на правило Di
2ответа
1 голос
Что такое bingsandbox.com? [закрыто]
Я играл с «Инструментами для веб-мастеров Bing»: https://www.bing.com/toolbox /вебмастер И затем отметьте access.log. Один referrer был http://www.bingsandbox.com/ Ссылка: http://www.bings
1ответ
1 голос
Внезапное снижение страниц, просканированных в день
В течение последних нескольких дней Googlebot сканировал гораздо меньше страниц на моем сайте, чем обычно. Я не вижу никаких новых ошибок и не нашел причины для этого. Является ли такой хью и внезап
2ответа
1 голос
Что делать с ошибками искателя после удаления несущественных частей моего сайта?
Итак, недавно я перестраивал свой сайт, ставил еще одну CMS, оптимизацию и так далее. Теперь я посетил инструменты Google для веб-мастеров, и он говорит, что у меня много искателей веб-поиска 404 не
2ответа
1 голос
После того, как домашняя страница была перенаправлена ​​хаком, она больше не индексируется. Как долго он вернется?
Мой сайт был взломан, а индексная страница была перенаправлена ​​на 302. Мне потребовалось несколько месяцев, чтобы все это отсортировалось. Тем временем домашняя страница потеряла свой PageRank и б
1ответ
1 голос
Роботы: block /lang /page из индекса, но keep /page
Моя структура URL выглядит примерно так: /group1/ литий> /group2/ литий> /group3/ литий> Group3 (и его подстраницы) также доступны на другом языке по следующим URL-адресам. К этому U
3ответа
1 голос
500 ошибок возвращает содержимое веб-сайта
Я использую CloudFlare на моем общем хосте. В последнее время все поисковые системы и все-на-этом сайты получают 500 ошибок. Я не уверен, кто виноват, мой хозяин или CloudFlare. Я ничего не помню, ч
2ответа
1 голос
Могу ли я ограничивать скребки контента, подсчитывая количество обращений от IP?
Я хотел бы запретить агрессивные скребки, которые получают доступ к числу страниц за час, скажем 1000. Я планирую реализовать такую ​​проверку через fail2ban и подсчитать количество просмотров из одн
1ответ
1 голос
Как работают канонические теги, когда у вас несколько версий веб-сайта?
Извиняюсь за то, насколько туманным возникает вопрос; Я не смог написать полный вопрос в названии, потому что у меня закончились символы. Прежде чем дубликаты монстров закроют вопрос, прочитайте в
1 2 3 4 5

Популярные теги

security × 330linux × 316macos × 2827 × 268performance × 244command-line × 241sql-server × 235joomla-3.x × 222java × 189c++ × 186windows × 180cisco × 168bash × 158c# × 142gmail × 139arduino-uno × 139javascript × 134ssh × 133seo × 132mysql × 132