首先，感谢所有发帖的人。这是我递归下载一个网站的“终极”wget脚本:

wget --recursive ${comment# self-explanatory} \
  --no-parent ${comment# will not crawl links in folders above the base of the URL} \
  --convert-links ${comment# convert links with the domain name to relative and uncrawled to absolute} \
  --random-wait --wait 3 --no-http-keep-alive ${comment# do not get banned} \
  --no-host-directories ${comment# do not create folders with the domain name} \
  --execute robots=off --user-agent=Mozilla/5.0 ${comment# I AM A HUMAN!!!} \
  --level=inf  --accept '*' ${comment# do not limit to 5 levels or common file formats} \
  --reject="index.html*" ${comment# use this option if you need an exact mirror} \
  --cut-dirs=0 ${comment# replace 0 with the number of folders in the path, 0 for the whole domain} \
$URL

之后，剥离查询参数从url像main.css?Crc =12324567并且运行一个本地服务器(例如通过python3 -m http。在你刚刚获得的目录下的server)来运行JS可能是必要的。请注意，——convert-links选项仅在完成完整爬行之后才生效。

此外，如果你正在尝试wget一个网站，可能很快就会宕机，你应该与ArchiveTeam联系，让他们把你的网站添加到他们的ArchiveBot队列中。

您必须将-np/——no-parent选项传递给wget(当然，除了-r/——recursive之外)，否则它将遵循我的站点上目录索引中的链接到父目录。所以命令看起来是这样的:

wget --recursive --no-parent http://example.com/configs/.vim/

为了避免下载自动生成的index.html文件，使用-R/——reject选项:

wget -r -np -R "index.html*" http://example.com/configs/.vim/

递归下载一个目录，该目录拒绝index.html*文件，下载时不包含主机名、父目录和整个目录结构:

wget -r -nH --cut-dirs=2 --no-parent --reject="index.html*" http://mysite.com/dir1/dir2/data

你所需要的是两个标志，一个是“-r”表示递归，另一个是“——no-parent”(或-np)，以便不进入'。和“..”． 是这样的:

Wget -r——no-parent http://example.com/configs/.vim/

就是这样。它将下载到以下本地树:./example.com/configs/.vim。 然而，如果你不想要前两个目录，那么使用额外的标志——cut-dirs=2，就像之前的回复中建议的那样:

Wget -r——no-parent——cut-dirs=2 http://example.com/configs/.vim/

它只会把你的文件树下载到。/.vim/

事实上，我从wget手册中得到了这个答案的第一行，他们在4.3节的末尾有一个非常干净的例子。

您应该使用-m (mirror)标志，因为这样可以避免混淆时间戳并无限地递归。

wget -m http://example.com/configs/.vim/

如果你加上其他人在这篇文章中提到的要点，它将是:

wget -m -e robots=off --no-parent http://example.com/configs/.vim/

听起来你是想要镜像你的文件。虽然wget有一些有趣的FTP和SFTP用途，但一个简单的镜像应该可以工作。只是一些注意事项，以确保您能够正确下载文件。

尊重robots . txt

如果您的public_html、www或configs目录中有一个/robots.txt文件，请确保它不会阻止爬行。如果是这样，你需要在你的wget命令中使用以下选项来指示wget忽略它:

wget -e robots=off 'http://your-site.com/configs/.vim/'

将远程链接转换为本地文件。

此外，必须指示wget将链接转换为下载的文件。如果你正确地做了上面的所有事情，你在这里应该没问题。我发现的获取所有文件的最简单方法是使用mirror命令，前提是在非公共目录后面没有隐藏任何东西。

试试这个:

wget -mpEk 'http://your-site.com/configs/.vim/'

# If robots.txt is present:

wget -mpEk robots=off 'http://your-site.com/configs/.vim/'

# Good practice to only deal with the highest level directory you specify (instead of downloading all of `mysite.com` you're just mirroring from `.vim`

wget -mpEk robots=off --no-parent 'http://your-site.com/configs/.vim/'

Using -m instead of -r is preferred as it doesn't have a maximum recursion depth and it downloads all assets. Mirror is pretty good at determining the full depth of a site, however if you have many external links you could end up downloading more than just your site, which is why we use -p -E -k. All pre-requisite files to make the page, and a preserved directory structure should be the output. -k converts links to local files. Since you should have a link set up, you should get your config folder with a file /.vim.

镜像模式也适用于设置为ftp://的目录结构。

一般经验法则:

根据您要镜像的站点的哪一侧，您将向服务器发送许多调用。为了防止你被列入黑名单或被切断，使用等待选项来限制你的下载。

wget -mpEk --no-parent robots=off --random-wait 'http://your-site.com/configs/.vim/'

但是如果你只是下载../config/。Vim /文件，你不应该担心它，因为你忽略了父目录和下载单个文件。