UAdapter Asked: 2011-01-08 06:19:43 +0800 CST2011-01-08 06:19:43 +0800 CST 2011-01-08 06:19:43 +0800 CST 如何下载整个网站? 772 我想下载整个网站(带有子网站)。有什么工具吗? software-recommendation 8 个回答 Voted Best Answer shellholic 2011-01-08T06:34:35+08:002011-01-08T06:34:35+08:00 从这里尝试示例 10 : wget --mirror -p --convert-links -P ./LOCAL-DIR WEBSITE-URL –mirror:打开适合镜像的选项。 -p:下载正确显示给定 HTML 页面所需的所有文件。 --convert-links:下载后,将文档中的链接转换为本地查看。 -P ./LOCAL-DIR:将所有文件和目录保存到指定目录。 Sid 2011-01-08T06:31:51+08:002011-01-08T06:31:51+08:00 httrack是您正在寻找的工具。 HTTrack允许您将万维网站点从 Internet 下载到本地目录,递归地构建所有目录,将 HTML、图像和其他文件从服务器获取到您的计算机。HTTrack 安排原始站点的相对链接结构。 Arthur Knopper 2011-01-08T06:44:15+08:002011-01-08T06:44:15+08:00 由于wget您可以下载整个网站,因此您应该使用-rswitch 进行递归下载。例如, wget -r http://www.google.com frizeR 2012-10-22T17:30:48+08:002012-10-22T17:30:48+08:00 WEBHTTRACK WEBSITE COPIER是一个方便的工具,可以将整个网站下载到您的硬盘上以供离线浏览。启动 ubuntu 软件中心并在搜索框中输入不带引号的“webhttrack website copier”。从软件中心选择并将其下载到您的系统上。从 laucher 或开始菜单启动 webHTTrack,从那里您可以开始享受这个伟大的网站下载工具 binW 2011-01-08T06:31:54+08:002011-01-08T06:31:54+08:00 我不知道子域,即子站点,但是 wget 可以用来抓取一个完整的站点。看看这个超级用户问题。它说您可以使用-D domain1.com,domain2.com单个脚本下载不同的域。我认为您可以使用该选项来下载子域,即-D site1.somesite.com,site2.somesite.com Harish Kotikalapudi 2016-06-19T01:49:05+08:002016-06-19T01:49:05+08:00 您可以下载整个网站命令: wget -r -l 0 website 例子 : wget -r -l 0 http://google.com loevborg 2011-01-08T07:14:03+08:002011-01-08T07:14:03+08:00 如果速度是一个问题(而不是服务器的健康),您可以尝试puf,它的工作方式与wget类似,但可以并行下载多个页面。然而,它不是成品,没有维护和可怕的无证。不过,对于下载包含大量小文件的网站,这可能是一个不错的选择。 Rory Alsop 2011-01-08T12:54:58+08:002011-01-08T12:54:58+08:00 我使用Burp - 蜘蛛工具比 wget 智能得多,并且可以配置为在必要时避开部分。Burp Suite 本身是一套强大的工具来帮助测试,但是蜘蛛工具非常有效。
从这里尝试示例 10 :
–mirror
:打开适合镜像的选项。-p
:下载正确显示给定 HTML 页面所需的所有文件。--convert-links
:下载后,将文档中的链接转换为本地查看。-P ./LOCAL-DIR
:将所有文件和目录保存到指定目录。httrack是您正在寻找的工具。
由于
wget
您可以下载整个网站,因此您应该使用-r
switch 进行递归下载。例如,WEBHTTRACK WEBSITE COPIER是一个方便的工具,可以将整个网站下载到您的硬盘上以供离线浏览。启动 ubuntu 软件中心并在搜索框中输入不带引号的“webhttrack website copier”。从软件中心选择并将其下载到您的系统上。从 laucher 或开始菜单启动 webHTTrack,从那里您可以开始享受这个伟大的网站下载工具
我不知道子域,即子站点,但是 wget 可以用来抓取一个完整的站点。看看这个超级用户问题。它说您可以使用
-D domain1.com,domain2.com
单个脚本下载不同的域。我认为您可以使用该选项来下载子域,即-D site1.somesite.com,site2.somesite.com
您可以下载整个网站命令:
例子 :
如果速度是一个问题(而不是服务器的健康),您可以尝试puf,它的工作方式与wget类似,但可以并行下载多个页面。然而,它不是成品,没有维护和可怕的无证。不过,对于下载包含大量小文件的网站,这可能是一个不错的选择。
我使用Burp - 蜘蛛工具比 wget 智能得多,并且可以配置为在必要时避开部分。Burp Suite 本身是一套强大的工具来帮助测试,但是蜘蛛工具非常有效。