他们总是说这要视情况而定，但当谈到镜像网站时，最好的是httrack。这是超级快速和容易工作。唯一的缺点是它是所谓的支持论坛，但你可以使用官方文档找到你的方法。它有GUI和CLI界面，它支持cookie，只是阅读文档，这是最好的。(用这个工具你可以在你的硬盘上下载整个网络)

httrack -c8 [url]

默认情况下，最大同时连接数限制为8，以避免服务器过载

为了加快文件下载速度，Wget不支持多个套接字连接。

我想我们可以给出比格里安更好的答案。

正确的方法是使用aria2。

aria2c -x 16 -s 16 [url]
#          |    |
#          |    |
#          |    |
#          ---------> the number of connections here

官方文档:

-x，——max-connection-per-server=NUM:每次下载到一台服务器的最大连接数。取值范围:1 ~ 16。默认值:1

-s，——split=N:使用N个连接下载文件。如果提供了超过N个uri，则使用前N个uri，其余url用于备份。如果给出的uri少于N个，则这些url将被使用不止一次，以便同时建立总共N个连接。到同一主机的连接数量由——max-connection-per-server选项限制。另参见——min-split-size选项。取值范围:1-*默认值:5

使用xargs使wget在多个文件中并行工作

#!/bin/bash

mywget()
{
    wget "$1"
}

export -f mywget

# run wget in parallel using 8 thread/connection
xargs -P 8 -n 1 -I {} bash -c "mywget '{}'" < list_urls.txt

Aria2选项，正确的工作方式与文件小于20mb

aria2c -k 2M -x 10 -s 10 [url]

-k 2M将文件分割成2mb的块

-k或——min-split-size的默认值是20mb，如果你不设置这个选项并且文件小于20mb，无论-x或-s的值是多少，它都只会在单个连接中运行

另一个可以做到这一点的程序是axel。

axel -n <NUMBER_OF_CONNECTIONS> URL

对于基本的HTTP认证，

axel -n <NUMBER_OF_CONNECTIONS> "user:password@https://domain.tld/path/file.ext"

Ubuntu手册页。

为每个链接调用Wget并将其设置为在后台运行。

我尝试了这段Python代码

with open('links.txt', 'r')as f1:      # Opens links.txt file with read mode
  list_1 = f1.read().splitlines()      # Get every line in links.txt
for i in list_1:                       # Iteration over each link
  !wget "$i" -bq                       # Call wget with background mode

参数:

      b - Run in Background
      q - Quiet mode (No Output)

一个新的(但尚未发布的)工具是Mget。 它已经从Wget中获得了许多选项，并提供了一个库，允许您轻松地将(递归)下载嵌入到您自己的应用程序中。

回答你的问题:

Mget——num-threads=4 [url]

更新

Mget现在开发为Wget2，修复了许多错误，增加了更多的功能(例如HTTP/2支持)。

——num-threads现在是——max-threads。