Url解码UTF-8在Python

在Python 2.7中，给定一个像example.com这样的URL ?title=%D0%BF%D1%80% d0% b0 % d0% b0 % d0% b0 % d0 % d0 % d0 % b0 %D1%8F+%D0%B7%D0%B0%D1%89%D0%B8%D1%82%D0%B0 % b0，我如何将其解码为预期的结果example.com?title==п а а о ова а +защита?

我尝试了url=urllib.unquote(url.encode("utf8"))，但它似乎给出了一个错误的结果。

当前回答

我知道这是一个老问题，但我通过谷歌搜索偶然发现了这个问题，并发现没有人提出只有内置功能的解决方案。

所以我很快就写了自己的。

基本上一个url字符串只能包含这些字符:a - z、a - z, 0 - 9 , -, ., _, ~, :, /, ?, #, [, ], @, !, $, &, ', (, ), *, +, ,, ;, %, =,一切url编码。

URL编码非常直接，只是一个百分号，后面跟着与非法字符的码点对应的字节值的十六进制数字。

所以基本上使用一个简单的while循环来迭代字符，添加任何字符的字节，如果它不是百分号，将index加1，否则添加百分号后面的字节，并将index加3，累积字节并解码它们应该可以完美地工作。

代码如下:

def url_parse(url):
    l = len(url)
    data = bytearray()
    i = 0
    while i < l:
        if url[i] != '%':
            d = ord(url[i])
            i += 1
        
        else:
            d = int(url[i+1:i+3], 16)
            i += 3
        
        data.append(d)
    
    return data.decode('utf8')

我已经测试过了，效果很好。

2022-09-20 05:51:59

其他回答

数据是UTF-8编码的字节，用URL引号转义，所以你想用urllib.parse.unquote()解码，它处理从百分比编码的数据解码到UTF-8字节，然后透明地解码到文本:

from urllib.parse import unquote

url = unquote(url)

演示:

>>> from urllib.parse import unquote
>>> url = 'example.com?title=%D0%BF%D1%80%D0%B0%D0%B2%D0%BE%D0%B2%D0%B0%D1%8F+%D0%B7%D0%B0%D1%89%D0%B8%D1%82%D0%B0'
>>> unquote(url)
'example.com?title=правовая+защита'

Python 2的等效函数是urllib.unquote()，但它返回一个字节字符串，所以你必须手动解码:

from urllib import unquote

url = unquote(url).decode('utf8')

2013-05-15 13:19:03

如果你使用的是python3，你可以使用urllib.parse.unquote:

url = """example.com?title=%D0%BF%D1%80%D0%B0%D0%B2%D0%BE%D0%B2%D0%B0%D1%8F+%D0%B7%D0%B0%D1%89%D0%B8%D1%82%D0%B0"""

import urllib.parse
urllib.parse.unquote(url)

给:

'example.com?title=правовая+защита'

2015-09-08 07:42:15

你也可以通过请求库达到预期的结果:

import requests

url = "http://www.mywebsite.org/Data%20Set.zip"

print(f"Before: {url}")
print(f"After:  {requests.utils.unquote(url)}")

输出:

$ python3 test_url_unquote.py

Before: http://www.mywebsite.org/Data%20Set.zip
After:  http://www.mywebsite.org/Data Set.zip

如果您已经在使用请求，而没有使用另一个库来完成这项工作，那么可能很方便。

2020-08-10 23:19:58

在HTML中，url可以包含HTML实体。这也取代了它们。

#from urllib import unquote #earlier python version
from urllib.request import unquote
from html import unescape
unescape(unquote('https://v.w.xy/p1/p22?userId=xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx&amp;confirmationToken=7uAf%2fxJoxRTFAZdxslCn2uwVR9vV7cYrlHs%2fl9sU%2frix9f9CnVx8uUT%2bu8y1%2fWCs99INKDnfA2ayhGP1ZD0z%2bodXjK9xL5I4gjKR2xp7p8Sckvb04mddf%2fiG75QYiRevgqdMnvd9N5VZp2ksBc83lDg7%2fgxqIwktteSI9RA3Ux9VIiNxx%2fZLe9dZSHxRq9AA'))

2021-08-11 11:24:41