Очистите взломанный сайт, заставив Google обходить и индексировать только URL-адреса в карте сайта

Так недавно наш сайт был взломан, и мы сейчас все пытаемся очистить. Но при выполнении поиска «сайт:» он по-прежнему показывает кэшированные японские веб-сайты.

Итак, мы попытались сыграть с robots.txt i.e.:

User-agent: *

Disallow: 

Sitemap: http://www.example.com/sitemap.xml

Но когда я ввожу плохой URL-адрес в тег robots.txt , он все равно разрешает URL-адрес, который нам не нужен.

Есть ли способ, что Google сканирует карту сайта только на файле robots.txt без ручного ввода всех плохих ссылок на Disallow?

2 голоса | спросил Shan Xue 26 Jpm1000000pmFri, 26 Jan 2018 19:46:14 +030018 2018, 19:46:14

1 ответ


1

Google никогда не ограничивался сканированием и индексированием только URL-адресов, находящихся в файле Sitemap. Такой функции не существует, и я сомневаюсь, что она когда-либо будет.

Файлы Sitemap бесполезны. Они не помогают в ранжировании. Они редко заставляют Google индексировать страницы, которые в противном случае они не индексировали бы. Google действительно использует их только для выбора предпочтительных URL-адресов, для указания URL-адресов альтернативных языков и для предоставления дополнительных данных в консоли поиска. См. Парадокс Sitemap .

Вероятно, вы не хотите использовать robots.txt, чтобы запретить URL-адреса. robots.txt блокирует сканирование, но не индексирует. Вам нужно, чтобы Google повторно просматривал URL-адреса и видел, что их нет. Googlebot должен иметь доступ к URL-адресам для этого.

Чтобы очистить взломанные URL-адреса, убедитесь, что они теперь возвращают статус 404. Google удалит каждый из них в течение 24 часов после следующего сканирования. Google может потребовать несколько месяцев, чтобы удалить все URL-адреса, потому что в некоторых случаях они могут не пересказывать некоторые из них. См. Сайт был взломан, нужно удалить все URL-адреса, начиная с + из Google, использовать robots.txt?

Если URL-адресов не так много, вы можете отправить их индивидуально через Инструмент удаления URL-адресов Google Search . Это заставит Google удалить их намного быстрее, чем ждать повторного обхода, но функция массового удаления отсутствует.

ответил Stephen Ostermiller 26 Jpm1000000pmFri, 26 Jan 2018 20:02:23 +030018 2018, 20:02:23

Похожие вопросы

Популярные теги

security × 330linux × 316macos × 2827 × 268performance × 244command-line × 241sql-server × 235joomla-3.x × 222java × 189c++ × 186windows × 180cisco × 168bash × 158c# × 142gmail × 139arduino-uno × 139javascript × 134ssh × 133seo × 132mysql × 132