在Python中,urllib, urllib2, urllib3和请求模块之间有什么区别?为什么有三个?他们似乎在做同样的事情……
当前回答
您通常应该使用urllib2,因为它通过接受Request对象有时会使事情变得更容易一些,并且还会在协议错误时引发URLException。虽然谷歌应用程序引擎,你不能使用。您必须使用谷歌在其沙箱Python环境中提供的URL获取API。
其他回答
只是为了补充现有的答案,我没有看到任何人提到python requests不是一个原生库。如果您可以添加依赖项,那么请求就可以了。然而,如果你试图避免添加依赖项,urllib是一个已经可用的原生python库。
获取url的内容:
try: # Try importing requests first.
import requests
except ImportError:
try: # Try importing Python3 urllib
import urllib.request
except AttributeError: # Now importing Python2 urllib
import urllib
def get_content(url):
try: # Using requests.
return requests.get(url).content # Returns requests.models.Response.
except NameError:
try: # Using Python3 urllib.
with urllib.request.urlopen(index_url) as response:
return response.read() # Returns http.client.HTTPResponse.
except AttributeError: # Using Python3 urllib.
return urllib.urlopen(url).read() # Returns an instance.
很难为响应编写Python2和Python3和请求依赖代码,因为它们的urlopen()函数和requests.get()函数返回不同的类型:
Python2 urllib.request.urlopen()返回一个http.client.HTTPResponse Python3 urllib.urlopen(url)返回一个实例 Request Request .get(url)返回一个requests.models.Response
我认为所有的答案都很好。但是关于urllib3的细节要少一些。urllib3是一个非常强大的python HTTP客户端。 要安装以下两个命令都可以工作,
urllib3
使用脉冲,
pip install urllib3
或者你可以从Github获取最新的代码并使用,
$ git clone git://github.com/urllib3/urllib3.git
$ cd urllib3
$ python setup.py install
然后你就可以出发了,
只需导入urllib3 using,
import urllib3
在这里,您需要一个PoolManager实例来发出请求,而不是直接创建连接。这将为您处理连接池和线程安全。还有一个ProxyManager对象用于通过HTTP/HTTPS代理路由请求 在这里您可以参考文档。 用法示例:
>>> from urllib3 import PoolManager
>>> manager = PoolManager(10)
>>> r = manager.request('GET', 'http://google.com/')
>>> r.headers['server']
'gws'
>>> r = manager.request('GET', 'http://yahoo.com/')
>>> r.headers['server']
'YTS/1.20.0'
>>> r = manager.request('POST', 'http://google.com/mail')
>>> r = manager.request('HEAD', 'http://google.com/calendar')
>>> len(manager.pools)
2
>>> conn = manager.connection_from_host('google.com')
>>> conn.num_requests
3
正如urrlib3文档中提到的,urllib3带来了许多Python标准库中所缺少的关键特性。
线程安全。 连接池。 客户端SSL/TLS验证。 文件上传与多部分编码。 帮助重新尝试请求和处理HTTP重定向。 支持gzip和deflate编码。 HTTP和SOCKS的代理支持。 100%测试覆盖率。
更多细节请参考用户指南。
响应内容(HTTPResponse对象提供状态、数据、 和头属性) 使用io包装器与响应内容 创建查询参数 urllib3的高级用法
请求
Requests在底层使用urllib3,使请求和检索数据变得更加简单。 首先,keep-alive是100%自动的,而urllib3不是。它还具有事件钩子,在事件触发时调用回调函数,例如接收响应 在请求中,每种请求类型都有自己的功能。因此,不需要创建连接或池,而是直接获取URL。
对于使用pip的安装请求,只需运行即可
PIP安装请求
或者你可以直接从源代码安装,
$ git clone git://github.com/psf/requests.git
$ cd requests
$ python setup.py install
然后,导入请求
在这里你可以参考官方文件, 对于一些高级用法,如会话对象、SSL验证和事件挂钩,请参考此url。
我发现上述答案中缺少的一个关键点是urllib返回类型为<class http.client的对象。HTTPResponse>而requests返回<class 'requests.models. response '>. HTTPResponse>。
因此,read()方法可以用于urllib,但不能用于请求。
附注:requests已经有很多方法了,几乎不需要像read();>那样再多一个
您通常应该使用urllib2,因为它通过接受Request对象有时会使事情变得更容易一些,并且还会在协议错误时引发URLException。虽然谷歌应用程序引擎,你不能使用。您必须使用谷歌在其沙箱Python环境中提供的URL获取API。
推荐文章
- 如何用OpenCV2.0和Python2.6调整图像大小
- 在每个列表元素上调用int()函数?
- 当使用代码存储库时,如何引用资源的相对路径
- 如何在Flask-SQLAlchemy中按id删除记录
- 在Python中插入列表的第一个位置
- Python Pandas只合并某些列
- 如何在一行中连接两个集而不使用“|”
- 从字符串中移除前缀
- 代码结束时发出警报
- 如何在Python中按字母顺序排序字符串中的字母
- 在matplotlib中将y轴标签添加到次要y轴
- 如何消除数独方块的凹凸缺陷?
- 为什么出现这个UnboundLocalError(闭包)?
- 使用Python请求的异步请求
- 如何检查一个对象是否是python中的生成器对象?