在Python中,urllib, urllib2, urllib3和请求模块之间有什么区别?为什么有三个?他们似乎在做同样的事情……
当前回答
在Python 2标准库中,有两个HTTP库是并排存在的。尽管名字相似,但它们并不相关:它们有不同的设计和不同的实现。
urllib是最初的Python HTTP客户端,在Python 1.2中添加到标准库中。urllib的早期文档可以在Python 1.4中找到。 urllib2是一个更强大的HTTP客户端,在Python 1.6中添加,旨在取代urllib: Urllib2——新的和改进的但不兼容的urllib版本(仍处于实验阶段)。 urllib2的早期文档可以在Python 2.1中找到。
Python 3标准库有一个新的urllib,它是旧模块的合并/重构/重写版本。
urllib3是一个第三方包(即不在CPython的标准库中)。尽管有这个名字,但它与标准库包无关,将来也不打算将它包括在标准库中。
最后,请求在内部使用urllib3,但它的目标是更易于使用的API。
其他回答
urllib和urllib2都是做URL请求相关工作的Python模块,但提供不同的功能。
1) urllib2可以接受一个Request对象来设置URL请求的头信息,urllib只接受一个URL。
2) urllib提供了用于生成GET查询字符串的urlencode方法,urllib2没有这样的函数。这就是urllib经常与urllib2一起使用的原因之一。
Requests - Requests '是一个用Python编写的简单易用的HTTP库。
1) Python请求会自动对参数进行编码,因此您只需将它们作为简单的参数传递,这与urllib不同,在urllib中,您需要在传递参数之前使用urllib.encode()方法对参数进行编码。
2)自动将应答解码为Unicode。
3)请求也有更方便的错误处理。如果身份验证失败,urllib2将引发urllib2。URLError,而请求将返回一个正常的响应对象,正如预期的那样。你所要做的就是通过布尔响应来判断请求是否成功
您通常应该使用urllib2,因为它通过接受Request对象有时会使事情变得更容易一些,并且还会在协议错误时引发URLException。虽然谷歌应用程序引擎,你不能使用。您必须使用谷歌在其沙箱Python环境中提供的URL获取API。
获取url的内容:
try: # Try importing requests first.
import requests
except ImportError:
try: # Try importing Python3 urllib
import urllib.request
except AttributeError: # Now importing Python2 urllib
import urllib
def get_content(url):
try: # Using requests.
return requests.get(url).content # Returns requests.models.Response.
except NameError:
try: # Using Python3 urllib.
with urllib.request.urlopen(index_url) as response:
return response.read() # Returns http.client.HTTPResponse.
except AttributeError: # Using Python3 urllib.
return urllib.urlopen(url).read() # Returns an instance.
很难为响应编写Python2和Python3和请求依赖代码,因为它们的urlopen()函数和requests.get()函数返回不同的类型:
Python2 urllib.request.urlopen()返回一个http.client.HTTPResponse Python3 urllib.urlopen(url)返回一个实例 Request Request .get(url)返回一个requests.models.Response
我发现上述答案中缺少的一个关键点是urllib返回类型为<class http.client的对象。HTTPResponse>而requests返回<class 'requests.models. response '>. HTTPResponse>。
因此,read()方法可以用于urllib,但不能用于请求。
附注:requests已经有很多方法了,几乎不需要像read();>那样再多一个
在Python 2标准库中,有两个HTTP库是并排存在的。尽管名字相似,但它们并不相关:它们有不同的设计和不同的实现。
urllib是最初的Python HTTP客户端,在Python 1.2中添加到标准库中。urllib的早期文档可以在Python 1.4中找到。 urllib2是一个更强大的HTTP客户端,在Python 1.6中添加,旨在取代urllib: Urllib2——新的和改进的但不兼容的urllib版本(仍处于实验阶段)。 urllib2的早期文档可以在Python 2.1中找到。
Python 3标准库有一个新的urllib,它是旧模块的合并/重构/重写版本。
urllib3是一个第三方包(即不在CPython的标准库中)。尽管有这个名字,但它与标准库包无关,将来也不打算将它包括在标准库中。
最后,请求在内部使用urllib3,但它的目标是更易于使用的API。
推荐文章
- 将Pandas或Numpy Nan替换为None以用于MysqlDB
- 使用pandas对同一列进行多个聚合
- 使用Python解析HTML
- django MultiValueDictKeyError错误,我如何处理它
- 如何在for循环期间修改列表条目?
- 我如何在Django中创建一个鼻涕虫?
- 没有名为'django.core.urlresolvers'的模块
- 蟒蛇导出环境文件
- Django - makemigrations -未检测到任何更改
- SQLAlchemy:引擎、连接和会话差异
- 在Python Pandas中删除多个列中的所有重复行
- 更改pandas DataFrame中的特定列名
- 将Pandas多索引转换为列
- 熊猫在每组中获得最高的n个记录
- 熊猫数据帧得到每组的第一行