Как создать графическую карту сайта большого сайта [закрыто]

Я хотел бы создать графическую карту сайта для своего сайта.Насколько я могу судить, есть два этапа:сканировать веб-сайт и анализировать отношения ссылок, чтобы извлечь древовидную структурусоздать визуально приятную визуализацию дереваУ кого-нибудь есть совет или опыт в достижении этого, или кто знает о существующей работе, на которой я могу основываться (в идеале на Python)?Я наткнулся на хороший CSS для рендеринга дерева, но он работает только для 3 уровней.Спасибо
4 голоса | спросил hoju 4 32009vEurope/Moscow11bEurope/MoscowWed, 04 Nov 2009 12:07:59 +0300 2009, 12:07:59

3 ответа


0
Вот веб-сканер Python , который должен стать хорошей отправной точкой.Ваша общая стратегия такова:Вы должны позаботиться о том, чтобы исходящие ссылки никогда не отслеживались, включая ссылки в том же домене, но выше вашей начальной точки.Когда вы паук, сайт собирает хэш URL-адресов страниц, сопоставленных со списком всех внутренних URL-адресов, включенных в каждую страницу.пройти по этому списку, назначив токен каждому уникальному URL.используйте ваш хеш {token => [tokens]}, чтобы сгенерировать файл graphviz, который создаст для вас графикпреобразовать выходные данные graphviz в карту изображений, где каждый узел ссылается на соответствующую веб-страницуПричина, по которой вам нужно сделать все это, как отметил Леонм, заключается в том, что веб-сайты представляют собой графики, а не деревья, и выкладывание графиков является более сложной задачей, чем вы можете сделать с помощью простого куска javascript и css.Графвиз хорош в том, что делает.
ответил Martin DeMello 4 32009vEurope/Moscow11bEurope/MoscowWed, 04 Nov 2009 12:35:07 +0300 2009, 12:35:07
0
Единственный автоматический способ создания карты сайта - узнать структуру вашего сайта и написать программу, основанную на этих знаниях.Простое сканирование ссылок обычно не работает, потому что ссылки могут быть между любыми страницами, поэтому вы получаете график (то есть соединения между узлами).В общем случае невозможно преобразовать граф в дерево.Таким образом, вы должны определить структуру своего дерева самостоятельно, а затем сканировать соответствующие страницы, чтобы получить заголовки страниц.Что касается «но это работает только для 3 уровней»: трех уровней более чем достаточно.Если вы попытаетесь создать больше уровней, ваша карта сайта станет непригодной для использования (слишком большой, слишком широкий).Никто не захочет скачать карту сайта размером 1 МБ, а затем прокрутить 100 000 страниц ссылок.Если ваш сайт становится таким большим, вы должны выполнить какой-то поиск.
ответил Aaron Digulla 4 32009vEurope/Moscow11bEurope/MoscowWed, 04 Nov 2009 12:39:10 +0300 2009, 12:39:10
0
Пожалуйста, смотрите http://aaron.oirt.rutgers.edu/myapp/docs/W1100_2200.TreeView о том, как форматировать древовидные представления.Вы также можете изменить пример приложения http://aaron.oirt.rutgers.edu/myapp/DirectoryTree/index, чтобы очистить ваши страницы, если они организованы в виде каталогов HTML-файлов.
ответил Aaron Watters 4 32009vEurope/Moscow11bEurope/MoscowWed, 04 Nov 2009 17:04:17 +0300 2009, 17:04:17

Похожие вопросы

Популярные теги

security × 330linux × 316macos × 2827 × 268performance × 244command-line × 241sql-server × 235joomla-3.x × 222java × 189c++ × 186windows × 180cisco × 168bash × 158c# × 142gmail × 139arduino-uno × 139javascript × 134ssh × 133seo × 132mysql × 132