Theller的wget解决方案非常有用，但是，我发现它并没有打印出整个下载过程中的进度。如果在reporthook中的print语句后添加一行，那就太完美了。

import sys, urllib

def reporthook(a, b, c):
    print "% 3.1f%% of %d bytes\r" % (min(100, float(a * b) / c * 100), c),
    sys.stdout.flush()
for url in sys.argv[1:]:
    i = url.rfind("/")
    file = url[i+1:]
    print url, "->", file
    urllib.urlretrieve(url, file, reporthook)
print

使用强大的urllib3库就足够简单了。

像这样导入:

import urllib3

http = urllib3.PoolManager()

然后提出这样的请求:

response = http.request('GET', 'https://example.com')

print(response.data) # Raw data.
print(response.data.decode('utf-8')) # Text.
print(response.status) # Status code.
print(response.headers['Content-Type']) # Content type.

你也可以添加标题:

response = http.request('GET', 'https://example.com', headers={
    'key1': 'value1',
    'key2': 'value2'
})

更多信息可以在urllib3文档中找到。

Urllib3比内置的urllib更安全，更容易使用。请求或HTTP模块，是稳定的。

看看httplib2，除了许多非常有用的特性之外，它还提供了您想要的东西。

import httplib2

resp, content = httplib2.Http().request("http://example.com/foo/bar")

其中内容将是响应体(作为字符串)，而resp将包含状态和响应标头。

虽然它不包含在标准的python安装中(但它只需要标准的python)，但它绝对值得一试。

如果您专门使用HTTP api，还有更方便的选择，如Nap。

例如，以下是如何从2014年5月1日起从Github获得gist:

from nap.url import Url
api = Url('https://api.github.com')

gists = api.join('gists')
response = gists.get(params={'since': '2014-05-01T00:00:00Z'})
print(response.json())

更多例子:https://github.com/kimmobrunfeldt/nap#examples

如何也发送头

Python 3:

import urllib.request
contents = urllib.request.urlopen(urllib.request.Request(
    "https://api.github.com/repos/cirosantilli/linux-kernel-module-cheat/releases/latest",
    headers={"Accept" : 'application/vnd.github.full+json"text/html'}
)).read()
print(contents)

Python 2:

import urllib2
contents = urllib2.urlopen(urllib2.Request(
    "https://api.github.com",
    headers={"Accept" : 'application/vnd.github.full+json"text/html'}
)).read()
print(contents)

如果你想要一个较低级别的API:

import http.client

conn = http.client.HTTPSConnection('example.com')
conn.request('GET', '/')

resp = conn.getresponse()
content = resp.read()

conn.close()

text = content.decode('utf-8')

print(text)