我使用wget下载网站内容，但是wget是一个一个下载文件的。
我怎么能让wget下载使用4个同时连接?
当前回答
尝试pcurl
http://sourceforge.net/projects/pcurl/
使用curl代替wget，并行下载10段。
其他回答
make可以很容易地并行化(例如，make -j 4)。例如，这是一个简单的Makefile，我正在使用wget并行下载文件:
BASE=http://www.somewhere.com/path/to
FILES=$(shell awk '{printf "%s.ext\n", $$1}' filelist.txt)
LOG=download.log
all: $(FILES)
echo $(FILES)
%.ext:
wget -N -a $(LOG) $(BASE)/$@
.PHONY: all
default: all
为每个链接调用Wget并将其设置为在后台运行。
我尝试了这段Python代码
with open('links.txt', 'r')as f1: # Opens links.txt file with read mode
list_1 = f1.read().splitlines() # Get every line in links.txt
for i in list_1: # Iteration over each link
!wget "$i" -bq # Call wget with background mode
参数:
b - Run in Background
q - Quiet mode (No Output)
Wget不能在多个连接中下载，相反，您可以尝试使用其他程序，如aria2。
使用咏叹调2:
aria2c -x 16 [url]
# |
# |
# |
# ----> the number of connections
http://aria2.sourceforge.net
尝试pcurl
http://sourceforge.net/projects/pcurl/
使用curl代替wget，并行下载10段。
