Как загрузить весь сайт?

Как загрузить все страницы с веб-сайта?

Любая платформа в порядке.

312 голосов | спросил 13 revs, 4 users 88%
joe
1 Jam1000000amThu, 01 Jan 1970 03:00:00 +030070 1970, 03:00:00

19 ответов


301

HTTRACK работает как чемпион по копированию содержимого всего сайта. Этот инструмент может даже захватить части, необходимые для того, чтобы сделать сайт с активным содержимым кода в автономном режиме. Я поражен тем, что он может реплицировать в автономном режиме.

Эта программа сделает все, что вам потребуется.

Счастливая охота!

ответил user945389 25 J000000Friday14 2014, 13:57:28
238

Wget - это классический инструмент командной строки для такого рода задач. Он поставляется с большинством систем Unix /Linux, и вы можете получить его для Windows . На Mac, Homebrew - это самый простой способ установить его (brew install wget).

Вы бы сделали что-то вроде:

wget -r --no-parent http://site.com/songs/

Подробнее см. Руководство Wget и его примеры или, например, это:

ответил user945389 25 J000000Friday14 2014, 13:57:28
121

Использовать wget:

wget -m -p -E -k www.example.com

Возможные варианты:

-m, --mirror Включает рекурсию и время-тиснение, устанавливает бесконечный
                          глубины рекурсии и сохраняет списки каталогов FTP.
-p, -page-requisites Получить все изображения и т. д., необходимые для отображения HTML-страницы.
-E, --adjust-extension Сохранить файлы HTML /CSS с расширением .html /.css.
-k, --convert-links Сделать ссылки в загруженной HTML-точке локальным файлам.
ответил user945389 25 J000000Friday14 2014, 13:57:28
8

Вы должны взглянуть на ScrapBook , Firefox расширение. Он имеет режим глубокого захвата . .

введите описание изображения здесь>> </p></div>
					 
						<div class=

ответил user945389 25 J000000Friday14 2014, 13:57:28
8

Internet Download Manager имеет утилиту Site Grabber с множеством опций - которая позволяет вам полностью загрузить любой веб-сайт вы хотите, как хотите.

  1. Вы можете установить ограничение на размер загружаемых страниц /файлов

  2. Вы можете указать количество посещений филиалов

  3. Вы можете изменить способ поведения скриптов /всплывающих окон /дубликатов

  4. Вы можете указать домен, только в этом домене будут загружены все страницы /файлы, соответствующие требуемым настройкам.

  5. Ссылки могут быть преобразованы в автономные ссылки для просмотра

  6. У вас есть шаблоны, которые позволяют вам выбирать указанные выше настройки.

введите описание изображения здесь>> </p>

<p> Программное обеспечение не является бесплатным - посмотрите, подходит ли оно вашим потребностям, используйте оценочную версию. </p></div>
										<div class=ответил user945389 25 J000000Friday14 2014, 13:57:28

7

itsucks - это название программы!

ответил user945389 25 J000000Friday14 2014, 13:57:28
5

Я рассмотрю онлайн-буферизацию, используемую браузерами ...

Обычно в большинстве браузеров используется кеш для просмотра, чтобы файлы, которые вы загружаете с веб-сайта, немного, так что вам не нужно загружать статические изображения и содержимое снова и снова. В некоторых случаях это может ускорить работу. Вообще говоря, большинство кешей браузера ограничены фиксированным размером и, когда он достигает этого предела, он удалит самые старые файлы в кеше.

У провайдеров, как правило, есть кеширующие серверы, на которых хранятся копии широкодоступных веб-сайтов, таких как ESPN и CNN. Это спасает их от попадания в эти сайты каждый раз, когда кто-то в их сети идет туда. Это может означать значительную экономию в количестве дублированных запросов на внешние сайты к интернет-провайдеру.

ответил user945389 25 J000000Friday14 2014, 13:57:28
5

Мне нравится автономный проводник .
Это условно-бесплатное программное обеспечение, но оно очень хорошее и удобное в использовании.

ответил user945389 25 J000000Friday14 2014, 13:57:28
5

Я не делал этого много лет, но есть еще несколько утилит. Возможно, вы захотите попробовать Web Snake . Я считаю, что использовал его много лет назад. Я сразу вспомнил это имя, когда прочитал ваш вопрос.

Я согласен с Stecy. Пожалуйста, не забивайте их сайт. Очень плохо.

ответил user945389 25 J000000Friday14 2014, 13:57:28
4

WebZip также является хорошим продуктом.

ответил user945389 25 J000000Friday14 2014, 13:57:28
3

Попробуйте BackStreet Browser .

  

Это бесплатный, мощный автономный браузер. Высокоскоростная многопоточность   программа загрузки и просмотра веб-сайтов. Выполняя несколько одновременных   серверные запросы, BackStreet Browser может быстро загрузить всю   веб-сайт или часть сайта, включая HTML, графику, Java-апплеты,   звука и других определяемых пользователем файлов, и сохраняет все файлы в вашем   жесткий диск, либо в собственном формате, либо в виде сжатого ZIP-файла   и просмотр в автономном режиме.

введите описание изображения здесь>> </p></div>
										<div class=ответил user945389 25 J000000Friday14 2014, 13:57:28

3

Teleport Pro - еще одно бесплатное решение, которое будет копировать все файлы из любой вашей цели (также есть платная версия, которая позволит вам тянуть больше страниц контента).

ответил user945389 25 J000000Friday14 2014, 13:57:28
3

DownThemAll - это дополнение к Firefox, которое будет загружать все (аудио- или видеофайлы, например) для определенной веб-страницы за один клик. Это не загружает весь сайт, но это может быть что-то вроде того, что искали.

ответил user945389 25 J000000Friday14 2014, 13:57:28
3

Для Linux и OS X: я написал сайт захвата для архивирования всех веб-сайтов на WARC . Эти файлы WARC могут быть просмотрены или извлекается. grab-site позволяет вам контролировать, какие URL-адреса пропускать с помощью регулярных выражений, и их можно изменить при запуске обхода. Он также поставляется с обширным набором параметров по умолчанию для игнорируя нежелательные URL-адреса.

Существует веб-панель мониторинга для сканирования обходов, а также дополнительные опции для пропуска содержимого видео или ответов по определенному размеру.

ответил user945389 25 J000000Friday14 2014, 13:57:28
1

У этой почтовой службы есть FreeDownloadManager.org .

Free Download Manager имеет две формы в двух формах: Проводник сайта и сайт-паук

  

Проводник сайта
  Проводник сайта позволяет просматривать структуру папок   веб-сайт и легко загружать необходимые файлы или папки.
Паук HTML
  Вы можете загружать целые веб-страницы или даже целые веб-сайты с помощью HTML    Паук. Инструмент можно настроить для загрузки файлов с указанными   расширения только.

Я обнаружил, что Site Explorer полезно видеть, какие папки включать /исключать, прежде чем пытаться загрузить весь сайт, особенно когда на этом сайте скрывается целый форум, который вы не хотите загружать, например.

ответил user945389 25 J000000Friday14 2014, 13:57:28
0

Power wget

В то время как wget уже упоминался, этот ресурс и командная строка были настолько плавными, что я подумал, что это заслуживает упоминания: wget -P /path /to /destination /directory /-mpck --user-agent = "" -e robots = off --wait 1 -E https://www.example.com/

См. этот код, объясненный в объяснении

ответил user945389 25 J000000Friday14 2014, 13:57:28
-1

скачать HTTracker, он загрузит веб-сайты очень легко, чтобы следовать.

ссылка для скачивания: http://www.httrack.com/page/2/

, которое поможет вам: https://www.youtube.com/watch? v = 7IHIGf6lcL4

ответил user945389 25 J000000Friday14 2014, 13:57:28
-3

Я считаю, что Google Chrome может сделать это на настольных устройствах, просто зайдите в меню браузера и нажмите сохранить веб-страницу.

Также обратите внимание, что такие сервисы, как карман, фактически не могут сохранить веб-сайт и, следовательно, подвержены связыванию гнили.

Наконец, обратите внимание, что копирование содержимого веб-сайта может нарушать авторские права, если оно применяется.

ответил user945389 25 J000000Friday14 2014, 13:57:28
-3

Firefox может сделать это изначально (по крайней мере, FF 42 может). Просто используйте «Сохранить страницу»

 введите описание изображения здесь>> </a> </p></div>
					 
						<div class=

ответил user945389 25 J000000Friday14 2014, 13:57:28

Похожие вопросы

Популярные теги

security × 330linux × 316macos × 2827 × 268performance × 244command-line × 241sql-server × 235joomla-3.x × 222java × 189c++ × 186windows × 180cisco × 168bash × 158c# × 142gmail × 139arduino-uno × 139javascript × 134ssh × 133seo × 132mysql × 132