获取url的内容:

try: # Try importing requests first.
    import requests
except ImportError: 
    try: # Try importing Python3 urllib
        import urllib.request
    except AttributeError: # Now importing Python2 urllib
        import urllib


def get_content(url):
    try:  # Using requests.
        return requests.get(url).content # Returns requests.models.Response.
    except NameError:  
        try: # Using Python3 urllib.
            with urllib.request.urlopen(index_url) as response:
                return response.read() # Returns http.client.HTTPResponse.
        except AttributeError: # Using Python3 urllib.
            return urllib.urlopen(url).read() # Returns an instance.

很难为响应编写Python2和Python3和请求依赖代码，因为它们的urlopen()函数和requests.get()函数返回不同的类型:

Python2 urllib.request.urlopen()返回一个http.client.HTTPResponse Python3 urllib.urlopen(url)返回一个实例 Request Request .get(url)返回一个requests.models.Response

您通常应该使用urllib2，因为它通过接受Request对象有时会使事情变得更容易一些，并且还会在协议错误时引发URLException。虽然谷歌应用程序引擎，你不能使用。您必须使用谷歌在其沙箱Python环境中提供的URL获取API。

我认为所有的答案都很好。但是关于urllib3的细节要少一些。urllib3是一个非常强大的python HTTP客户端。 要安装以下两个命令都可以工作，

urllib3

使用脉冲,

pip install urllib3

或者你可以从Github获取最新的代码并使用，

$ git clone git://github.com/urllib3/urllib3.git
$ cd urllib3
$ python setup.py install

然后你就可以出发了，

只需导入urllib3 using，

import urllib3

在这里，您需要一个PoolManager实例来发出请求，而不是直接创建连接。这将为您处理连接池和线程安全。还有一个ProxyManager对象用于通过HTTP/HTTPS代理路由请求 在这里您可以参考文档。 用法示例:

>>> from urllib3 import PoolManager
>>> manager = PoolManager(10)
>>> r = manager.request('GET', 'http://google.com/')
>>> r.headers['server']
'gws'
>>> r = manager.request('GET', 'http://yahoo.com/')
>>> r.headers['server']
'YTS/1.20.0'
>>> r = manager.request('POST', 'http://google.com/mail')
>>> r = manager.request('HEAD', 'http://google.com/calendar')
>>> len(manager.pools)
2
>>> conn = manager.connection_from_host('google.com')
>>> conn.num_requests
3

正如urrlib3文档中提到的，urllib3带来了许多Python标准库中所缺少的关键特性。

线程安全。 连接池。 客户端SSL/TLS验证。 文件上传与多部分编码。 帮助重新尝试请求和处理HTTP重定向。 支持gzip和deflate编码。 HTTP和SOCKS的代理支持。 100%测试覆盖率。

更多细节请参考用户指南。

响应内容(HTTPResponse对象提供状态、数据、 和头属性) 使用io包装器与响应内容 创建查询参数 urllib3的高级用法

请求

Requests在底层使用urllib3，使请求和检索数据变得更加简单。 首先，keep-alive是100%自动的，而urllib3不是。它还具有事件钩子，在事件触发时调用回调函数，例如接收响应 在请求中，每种请求类型都有自己的功能。因此，不需要创建连接或池，而是直接获取URL。

对于使用pip的安装请求，只需运行即可

PIP安装请求

或者你可以直接从源代码安装，

$ git clone git://github.com/psf/requests.git
$ cd requests
$ python setup.py install

然后，导入请求

在这里你可以参考官方文件， 对于一些高级用法，如会话对象、SSL验证和事件挂钩，请参考此url。

urllib和urllib2都是做URL请求相关工作的Python模块，但提供不同的功能。

1) urllib2可以接受一个Request对象来设置URL请求的头信息，urllib只接受一个URL。

2) urllib提供了用于生成GET查询字符串的urlencode方法，urllib2没有这样的函数。这就是urllib经常与urllib2一起使用的原因之一。

Requests - Requests '是一个用Python编写的简单易用的HTTP库。

1) Python请求会自动对参数进行编码，因此您只需将它们作为简单的参数传递，这与urllib不同，在urllib中，您需要在传递参数之前使用urllib.encode()方法对参数进行编码。

2)自动将应答解码为Unicode。

3)请求也有更方便的错误处理。如果身份验证失败，urllib2将引发urllib2。URLError，而请求将返回一个正常的响应对象，正如预期的那样。你所要做的就是通过布尔响应来判断请求是否成功

我喜欢urllib。urllib2中似乎不存在urllib2。

>>> urllib.urlencode({'abc':'d f', 'def': '-!2'})
'abc=d+f&def=-%212'

一个相当大的区别是关于将Python2移植到Python3。python3及其移植到urllib的方法不存在Urllib2。 因此，如果你正在大量使用它，并希望将来迁移到Python3，请考虑使用urllib。 然而，2to3工具将自动为您做大部分工作。