Можно ли создать миллионную карту сайта?

Недавно мне было предложено создать карту сайта для более раннего веб-сайта Apache с более чем 20 000 сгенерированных страниц базы данных. Однако на полпути к проекту я узнал, что клиент пренебрег тем, что общая инвентаризация на самом деле составляет около 12 миллионов +.

Клиент не будет слушать мои опасения по поводу нецелесообразности крупной карты сайта и настаивал на необходимости каталогизировать все страницы, чтобы получить больше просмотров страниц. Он продолжал ссылаться на то, что можно создать несколько файлов Sitemap и что максимальный предел для одного файла Sitemap составляет 50 000 страниц.

Я опробовал несколько бесплатных файловых генераторов Sitemap, и лучший вариант закончился из памяти и разбился на 20 000 страниц. Большинство коммерческих продуктов для создания карт Sitemap также имеют максимальную пропускную способность 5000. Я мог найти только один продукт, который, как утверждается, способен сканировать более 1 миллиона страниц, но мне не хватило денег, чтобы потратить месяцы, ожидая, что искатель прольет через 12 миллионов страниц.

Я отменил задание и попробовал предоставить клиенту некоторые альтернативные ресурсы SEO, которые сделают намного больше, чтобы увеличить просмотры страниц, но мне действительно мешает, что я был пойман так беззащитно со стороны внештатного запроса. Я стараюсь специализироваться на SEO и WordPress, и я привык обращаться к более крупным сайтам с несколькими сотнями страниц или даже несколькими тысячами страниц. В WordPress обычно требуется меньше 10 минут для создания файла Sitemap.

Я попытался продолжить изучение предмета, и, по-видимому, можно запрограммировать собственный скрипт, который будет сканировать и каталогизировать более миллиона страниц. На самом деле это не очень эффективное использование времени или ресурсов, и это не особенно полезно для SEO. Но это было сделано раньше.

Наверное, мне просто интересно узнать, распространено ли в веб-индустрии встреча с веб-сайтами, требующими массовых Sitemaps более 20 тыс.? Или я слишком неопытен, чтобы справляться с требованиями к программированию? 12 миллионов казались мне необоснованным числом, и я не мог определить каких-либо преимуществ такого сайта для сайта, о котором идет речь.

1 голос | спросил jcongerkallas1 13 J0000006Europe/Moscow 2017, 03:24:49

1 ответ


4
  

Вы должны представить карту сайта всех страниц, которые, по вашему мнению, должны находиться в   Индекс поиска Google.

     

Если у вас есть миллионы страниц, вам нужно будет использовать индекс sitemap   который представляет собой набор отдельных файлов Sitemap.

     

http://sitemaps.org/protocol.php

     

Каждая карта сайта должна иметь не более 50 000 URL-адресов и не больше   10MB.

     

Чтобы получить максимальную отдачу от этого протокола, я бы предложил создать sitemaps   которые сопоставляются с категорией или типом страницы (или комбинацией), чтобы вы могли   определить скорости индексации. Вы часто обнаруживаете, что некоторые страницы или   категории лучше индексируются, чем другие. Это ваша работа   выяснить почему.

https://www.quora.com/If-I-have-a-website-with-millions-of-unique-pages-should-I-submit-a-partial -sitemap к Google

ответил Steve 13 J0000006Europe/Moscow 2017, 03:55:01

Похожие вопросы

Популярные теги

security × 330linux × 316macos × 2827 × 268performance × 244command-line × 241sql-server × 235joomla-3.x × 222java × 189c++ × 186windows × 180cisco × 168bash × 158c# × 142gmail × 139arduino-uno × 139javascript × 134ssh × 133seo × 132mysql × 132