你可以在Python 2和3上使用PycURL。

import pycurl

FILE_DEST = 'pycurl.html'
FILE_SRC = 'http://pycurl.io/'

with open(FILE_DEST, 'wb') as f:
    c = pycurl.Curl()
    c.setopt(c.URL, FILE_SRC)
    c.setopt(c.WRITEDATA, f)
    c.perform()
    c.close()

你也可以通过urlretrieve得到进度反馈:

def report(blocknr, blocksize, size):
    current = blocknr*blocksize
    sys.stdout.write("\r{0:.2f}%".format(100.0*current/size))

def downloadFile(url):
    print "\n",url
    fname = url.split('/')[-1]
    print fname
    urllib.urlretrieve(url, fname, report)

如果你安装了wget，你可以使用parallel_sync。

PIP安装parallel_sync

from parallel_sync import wget
urls = ['http://something.png', 'http://somthing.tar.gz', 'http://somthing.zip']
wget.download('/tmp', urls)
# or a single file:
wget.download('/tmp', urls[0], filenames='x.zip', extract=True)

道格: https://pythonhosted.org/parallel_sync/pages/examples.html

这是非常强大的。它可以并行下载文件，失败时重试，甚至可以在远程机器上下载文件。

另一种方法是调用外部进程，如curl.exe。Curl在默认情况下显示进度条、平均下载速度、剩余时间等，所有这些都整齐地格式化在一个表格中。 将curl.exe放在与脚本相同的目录中

from subprocess import call
url = ""
call(["curl", {url}, '--output', "song.mp3"])

注意:不能使用curl指定输出路径，所以使用os。重命名之后

为了完整起见，还可以使用子流程包调用任何程序来检索文件。专用于检索文件的程序比Python函数(如urlretrieve)更强大。例如，wget可以递归下载目录(-R)，可以处理FTP、重定向、HTTP代理，可以避免重新下载现有文件(-nc)，而aria2可以进行多连接下载，这可能会加快下载速度。

import subprocess
subprocess.check_output(['wget', '-O', 'example_output_file.html', 'https://example.com'])

在Jupyter Notebook中，也可以直接使用!语法:

!wget -O example_output_file.html https://example.com

以下是python中下载文件最常用的调用:

urllib。Urlretrieve ('url_to_file'， file_name) urllib2.urlopen(“url_to_file”) requests.get (url) wget。下载(“url”,file_name)

注意:urlopen和urlretrieve在下载大文件(大小为> 500 MB)时表现相对较差。请求。Get将文件存储在内存中，直到下载完成。