Как загрузить весь сайт?
Как загрузить все страницы с веб-сайта?
Любая платформа в порядке.
19 ответов
HTTRACK работает как чемпион по копированию содержимого всего сайта. Этот инструмент может даже захватить части, необходимые для того, чтобы сделать сайт с активным содержимым кода в автономном режиме. Я поражен тем, что он может реплицировать в автономном режиме.
Эта программа сделает все, что вам потребуется.
Счастливая охота!
Wget - это классический инструмент командной строки для такого рода задач. Он поставляется с большинством систем Unix /Linux, и вы можете получить его для Windows . На Mac, Homebrew - это самый простой способ установить его (brew install wget
).
Вы бы сделали что-то вроде:
wget -r --no-parent http://site.com/songs/
Подробнее см. Руководство Wget и его примеры или, например, это:
Использовать wget:
wget -m -p -E -k www.example.com
Возможные варианты:
-m, --mirror Включает рекурсию и время-тиснение, устанавливает бесконечный
глубины рекурсии и сохраняет списки каталогов FTP.
-p, -page-requisites Получить все изображения и т. д., необходимые для отображения HTML-страницы.
-E, --adjust-extension Сохранить файлы HTML /CSS с расширением .html /.css.
-k, --convert-links Сделать ссылки в загруженной HTML-точке локальным файлам.
Вы должны взглянуть на ScrapBook , Firefox расширение. Он имеет режим глубокого захвата . .
Internet Download Manager имеет утилиту Site Grabber с множеством опций - которая позволяет вам полностью загрузить любой веб-сайт вы хотите, как хотите.
-
Вы можете установить ограничение на размер загружаемых страниц /файлов
-
Вы можете указать количество посещений филиалов
-
Вы можете изменить способ поведения скриптов /всплывающих окон /дубликатов
-
Вы можете указать домен, только в этом домене будут загружены все страницы /файлы, соответствующие требуемым настройкам.
-
Ссылки могут быть преобразованы в автономные ссылки для просмотра
-
У вас есть шаблоны, которые позволяют вам выбирать указанные выше настройки.
ответил user945389 25 J000000Friday14 2014, 13:57:28
itsucks - это название программы!
Я рассмотрю онлайн-буферизацию, используемую браузерами ...
Обычно в большинстве браузеров используется кеш для просмотра, чтобы файлы, которые вы загружаете с веб-сайта, немного, так что вам не нужно загружать статические изображения и содержимое снова и снова. В некоторых случаях это может ускорить работу. Вообще говоря, большинство кешей браузера ограничены фиксированным размером и, когда он достигает этого предела, он удалит самые старые файлы в кеше.
У провайдеров, как правило, есть кеширующие серверы, на которых хранятся копии широкодоступных веб-сайтов, таких как ESPN и CNN. Это спасает их от попадания в эти сайты каждый раз, когда кто-то в их сети идет туда. Это может означать значительную экономию в количестве дублированных запросов на внешние сайты к интернет-провайдеру.
Мне нравится автономный проводник .
Это условно-бесплатное программное обеспечение, но оно очень хорошее и удобное в использовании.
Я не делал этого много лет, но есть еще несколько утилит. Возможно, вы захотите попробовать Web Snake . Я считаю, что использовал его много лет назад. Я сразу вспомнил это имя, когда прочитал ваш вопрос.
Я согласен с Stecy. Пожалуйста, не забивайте их сайт. Очень плохо.
Попробуйте BackStreet Browser .
Это бесплатный, мощный автономный браузер. Высокоскоростная многопоточность программа загрузки и просмотра веб-сайтов. Выполняя несколько одновременных серверные запросы, BackStreet Browser может быстро загрузить всю веб-сайт или часть сайта, включая HTML, графику, Java-апплеты, звука и других определяемых пользователем файлов, и сохраняет все файлы в вашем жесткий диск, либо в собственном формате, либо в виде сжатого ZIP-файла и просмотр в автономном режиме.
ответил user945389 25 J000000Friday14 2014, 13:57:28
Teleport Pro - еще одно бесплатное решение, которое будет копировать все файлы из любой вашей цели (также есть платная версия, которая позволит вам тянуть больше страниц контента).
DownThemAll - это дополнение к Firefox, которое будет загружать все (аудио- или видеофайлы, например) для определенной веб-страницы за один клик. Это не загружает весь сайт, но это может быть что-то вроде того, что искали.
Для Linux и OS X: я написал сайт захвата для архивирования всех веб-сайтов на WARC . Эти файлы WARC могут быть просмотрены или извлекается. grab-site позволяет вам контролировать, какие URL-адреса пропускать с помощью регулярных выражений, и их можно изменить при запуске обхода. Он также поставляется с обширным набором параметров по умолчанию для игнорируя нежелательные URL-адреса.
Существует веб-панель мониторинга для сканирования обходов, а также дополнительные опции для пропуска содержимого видео или ответов по определенному размеру.
У этой почтовой службы есть FreeDownloadManager.org .
Free Download Manager имеет две формы в двух формах: Проводник сайта и сайт-паук
Проводник сайта
Проводник сайта позволяет просматривать структуру папок веб-сайт и легко загружать необходимые файлы или папки.
Паук HTML
Вы можете загружать целые веб-страницы или даже целые веб-сайты с помощью HTML Паук. Инструмент можно настроить для загрузки файлов с указанными расширения только.
Я обнаружил, что Site Explorer полезно видеть, какие папки включать /исключать, прежде чем пытаться загрузить весь сайт, особенно когда на этом сайте скрывается целый форум, который вы не хотите загружать, например.
Power wget
В то время как wget уже упоминался, этот ресурс и командная строка были настолько плавными, что я подумал, что это заслуживает упоминания:
wget -P /path /to /destination /directory /-mpck --user-agent = "" -e robots = off --wait 1 -E https://www.example.com/
скачать HTTracker, он загрузит веб-сайты очень легко, чтобы следовать.
ссылка для скачивания: http://www.httrack.com/page/2/
, которое поможет вам: https://www.youtube.com/watch? v = 7IHIGf6lcL4
Я считаю, что Google Chrome может сделать это на настольных устройствах, просто зайдите в меню браузера и нажмите сохранить веб-страницу.
Также обратите внимание, что такие сервисы, как карман, фактически не могут сохранить веб-сайт и, следовательно, подвержены связыванию гнили.
Наконец, обратите внимание, что копирование содержимого веб-сайта может нарушать авторские права, если оно применяется.
Firefox может сделать это изначально (по крайней мере, FF 42 может). Просто используйте «Сохранить страницу»