google-crawlers — все вопросы

3ответа
13 голосов
Почему сканеры поисковых систем не запускают JavaScript? [закрыто]
Я работал с некоторыми продвинутыми приложениями javascript, использующими множество запросов ajax для отображения моей страницы. Чтобы приложения могли сканироваться (Google), я должен следовать h
3ответа
13 голосов
Должен ли я перечислить PDF-файлы в моем файле карты сайта?
Должен ли я добавить PDF-файлы в мою XML-карту сайта? Я хочу знать, будет ли Google сканировать PDF-файлы.
2ответа
16 голосов
Избегайте сканирования части страницы с помощью «googleoff» и «googleon»
Я пытаюсь заставить Google и другие поисковые системы не сканировать некоторые части моей веб-страницы. Что я делаю: <!--googleoff: all--> <select name="ddlCountry" id="ddlCountry"&g
1ответ
19 голосов
Передача аргументов в process.crawl в Scrapy Python
Я хотел бы получить тот же результат, что и эта командная строка: Скрап-сканирование linkedin_anonymous -a первый = Джеймс -a последний = Бонд -o output.json Мой сценарий выглядит следующим образ

Популярные теги

security × 330linux × 316macos × 2827 × 268performance × 244command-line × 241sql-server × 235joomla-3.x × 222java × 189c++ × 186windows × 180cisco × 168bash × 158c# × 142gmail × 139arduino-uno × 139javascript × 134ssh × 133seo × 132mysql × 132