为每个链接调用Wget并将其设置为在后台运行。

我尝试了这段Python代码

with open('links.txt', 'r')as f1:      # Opens links.txt file with read mode
  list_1 = f1.read().splitlines()      # Get every line in links.txt
for i in list_1:                       # Iteration over each link
  !wget "$i" -bq                       # Call wget with background mode

参数:

      b - Run in Background
      q - Quiet mode (No Output)

使用咏叹调2:

aria2c -x 16 [url]
#          |
#          |
#          |
#          ----> the number of connections 

http://aria2.sourceforge.net

他们总是说这要视情况而定，但当谈到镜像网站时，最好的是httrack。这是超级快速和容易工作。唯一的缺点是它是所谓的支持论坛，但你可以使用官方文档找到你的方法。它有GUI和CLI界面，它支持cookie，只是阅读文档，这是最好的。(用这个工具你可以在你的硬盘上下载整个网络)

httrack -c8 [url]

默认情况下，最大同时连接数限制为8，以避免服务器过载

您可以使用xargs

-P是进程数，例如设置-P 4，将同时下载4个链接，如果设置-P 0, xargs将启动尽可能多的进程，并下载所有的链接。

cat links.txt | xargs -P 4 -I{} wget {}

我发现(可能) 一个解决方案

In the process of downloading a few thousand log files from one server to the next I suddenly had the need to do some serious multithreaded downloading in BSD, preferably with Wget as that was the simplest way I could think of handling this. A little looking around led me to this little nugget: wget -r -np -N [url] & wget -r -np -N [url] & wget -r -np -N [url] & wget -r -np -N [url] Just repeat the wget -r -np -N [url] for as many threads as you need... Now given this isn’t pretty and there are surely better ways to do this but if you want something quick and dirty it should do the trick...

注意:选项-N使wget只下载“更新的”文件，这意味着它不会覆盖或重新下载文件，除非它们在服务器上的时间戳发生了变化。

使用xargs使wget在多个文件中并行工作

#!/bin/bash

mywget()
{
    wget "$1"
}

export -f mywget

# run wget in parallel using 8 thread/connection
xargs -P 8 -n 1 -I {} bash -c "mywget '{}'" < list_urls.txt

Aria2选项，正确的工作方式与文件小于20mb

aria2c -k 2M -x 10 -s 10 [url]

-k 2M将文件分割成2mb的块

-k或——min-split-size的默认值是20mb，如果你不设置这个选项并且文件小于20mb，无论-x或-s的值是多少，它都只会在单个连接中运行