Должен ли я отправлять XML sitmaps напрямую или перечислить их в моем файле robots.txt?

Кажется, что в эти дни карта сайта в корне с именем sitemap.xml будет подхвачена кем-нибудь вовремя.

Все зависит от того, какой контроль вы хотите.

Если вы не хотите, чтобы кто-либо читал вашу карту сайта, включая scrapper bots, тогда назовите ее чем-то уникальным и отправьте ее в Google, Bing и кто когда-нибудь еще захочет. Не помещайте его в файл robots.txt.

Если вы не беспокоитесь о том, кто читает вашу карту сайта, достаточно просто создать файл Sitemap в корне по имени sitemap.xml. Bing, Yandex и Baidu все нашли мои просто отлично, ничего в файле robots.txt. Однако, если вы хотите, чтобы он стал более широко известным и более легко подбираемым, используйте файл robots.txt. Я все равно отправлю его в Google и Bing вручную. Таким образом, вы можете увидеть некоторую информацию о том, сколько страниц было проиндексировано из файла Sitemap и т. Д. Я не думаю, что Google специально ищет карту сайта, если она не была отправлена. В последнее время ситуация может измениться.

Также подумайте, что некоторые из этих доменных сайтов stat ищут файлы Sitemap и сообщают об этом. Поэтому, если вы сделаете это общеизвестным, это действительно будет известно всем, включая сценаристов. Есть scrapper-боты, читающие файлы Sitemap и сайты-пауки.

Пока у меня нет ничего в файле robots.txt, файл sitemap находится в корне и называется sitemap.xml. Он сообщается на сайтах stat stat. У меня обычно нет никаких сожалений по этому поводу, но как только джинна выпустят из бутылки, его трудно наполнить. Просто имейте это в виду.