我有一个web目录，我存储一些配置文件。我想使用wget将这些文件拉下来并保持它们当前的结构。例如，远程目录看起来像:
http://mysite.com/configs/.vim/
.vim包含多个文件和目录。我想用wget在客户端复制它。似乎无法找到正确的wget标志组合来完成这项工作。什么好主意吗?
当前回答
使用下面的命令，递归获取用户名和密码的目录:
wget -r --user=(put username here) --password='(put password here)' --no-parent http://example.com/
其他回答
您应该使用-m (mirror)标志，因为这样可以避免混淆时间戳并无限地递归。
wget -m http://example.com/configs/.vim/
如果你加上其他人在这篇文章中提到的要点，它将是:
wget -m -e robots=off --no-parent http://example.com/configs/.vim/
下面是完整的wget命令，用于从服务器目录下载文件(忽略robots.txt):
wget -e robots=off --cut-dirs=3 --user-agent=Mozilla/5.0 --reject="index.html*" --no-parent --recursive --relative --level=1 --no-directories http://www.example.com/archive/example/5.3.0/
Wget 1.18可能工作得更好，例如，我被1.12版本的bug咬了，其中…
wget --recursive (...)
.．.只检索index.html而不是所有文件。
解决方法是注意到一些301重定向，并尝试新的位置-给定新的URL, wget得到目录中的所有文件。
对于其他有类似问题的人。Wget遵循robots.txt，这可能不允许您抓取站点。不用担心，你可以把它关掉:
wget -e robots=off http://www.example.com/
http://www.gnu.org/software/wget/manual/html_node/Robot-Exclusion.html
wget -r http://mysite.com/configs/.vim/
对我有用。
也许你有一个。wgetrc干扰它?
