Urlretrieve和请求。得到的都很简单，然而现实却不。 我已经为两个站点提取了数据，包括文本和图像，以上两个可能解决了大部分任务。但如果想要更通用的解决方案，我建议使用urlopen。由于它包含在Python 3标准库中，您的代码可以在任何运行Python 3的机器上运行，而无需预先安装site-package

import urllib.request
url_request = urllib.request.Request(url, headers=headers)
url_connect = urllib.request.urlopen(url_request)

#remember to open file in bytes mode
with open(filename, 'wb') as f:
    while True:
        buffer = url_connect.read(buffer_size)
        if not buffer: break

        #an integer value of size of written data
        data_wrote = f.write(buffer)

#you could probably use with-open-as manner
url_connect.close()

当使用Python通过HTTP下载文件时，这个答案提供了HTTP 403禁止的解决方案。我只尝试了请求和urllib模块，其他模块可能会提供更好的东西，但这是我用来解决大多数问题的一个。

你可以使用python请求

import os
import requests


outfile = os.path.join(SAVE_DIR, file_name)
response = requests.get(URL, stream=True)
with open(outfile,'wb') as output:
  output.write(response.content)

你可以使用shutil

import os
import requests
import shutil
 
outfile = os.path.join(SAVE_DIR, file_name)
response = requests.get(url, stream = True)
with open(outfile, 'wb') as f:
  shutil.copyfileobj(response.content, f)

如果你从受限的url下载，不要忘记在标题中包含访问令牌

简单但Python 2和Python 3兼容的方式提供了六个库:

from six.moves import urllib
urllib.request.urlretrieve("http://www.example.com/songs/mp3.mp3", "mp3.mp3")

还有一个，使用urlretrieve:

import urllib.request
urllib.request.urlretrieve("http://www.example.com/songs/mp3.mp3", "mp3.mp3")

(对于Python 2使用import urllib和urllib.urlretrieve)

import urllib2
mp3file = urllib2.urlopen("http://www.example.com/songs/mp3.mp3")
with open('test.mp3','wb') as output:
  output.write(mp3file.read())

open('test.mp3'，'wb')中的wb以二进制模式打开文件(并擦除任何现有文件)，以便您可以使用它保存数据而不仅仅是文本。

2012年，使用python请求库

>>> import requests
>>> 
>>> url = "http://download.thinkbroadband.com/10MB.zip"
>>> r = requests.get(url)
>>> print len(r.content)
10485760

您可以运行pip install请求来获取它。

请求比替代方法有很多优点，因为API简单得多。如果必须进行身份验证，则尤其如此。Urllib和urllib2在这种情况下非常不直观和痛苦。

2015-12-30

人们对进度条表示钦佩。这当然很酷。现在有几种现成的解决方案，包括tqdm:

from tqdm import tqdm
import requests

url = "http://download.thinkbroadband.com/10MB.zip"
response = requests.get(url, stream=True)

with open("10MB", "wb") as handle:
    for data in tqdm(response.iter_content()):
        handle.write(data)

这实际上是@kvance在30个月前描述的实现。