我需要用空格替换所有非ascii (\x00-\x7F)字符。我很惊讶，这在Python中不是非常容易的，除非我遗漏了什么。下面的函数简单地删除所有非ascii字符:
def remove_non_ascii_1(text):
return ''.join(i for i in text if ord(i)<128)
这一个替换非ascii字符与空格的数量在字符编码点的字节数(即-字符替换为3个空格):
def remove_non_ascii_2(text):
return re.sub(r'[^\x00-\x7F]',' ', text)
如何用一个空格替换所有非ascii字符?
在无数类似的SO问题中，没有一个是针对字符替换而不是剥离的，另外是针对所有非ascii字符而不是特定字符。
当前回答
当我们使用ascii()时，它会转义非ascii字符，并且不会正确地更改ascii字符。所以我的主要想法是，它不会改变ASCII字符，所以我在字符串中迭代并检查字符是否被改变。如果它改变了，那就用替代品替换它。 例如:' '(单个空格)或'?(带一个问号)。
def remove(x, replacer):
for i in x:
if f"'{i}'" == ascii(i):
pass
else:
x=x.replace(i,replacer)
return x
remove('hái',' ')
结果:“h i”(中间有一个空格)。
语法:remove(str,non_ascii_replacer) 这里你将给出你想要使用的字符串。 non_ascii_replacer =在这里，您将给出要替换所有非ASCII字符的替换器。
其他回答
def filterSpecialChars(strInput):
result = []
for character in strInput:
ordVal = ord(character)
if ordVal < 0 or ordVal > 127:
result.append(' ')
else:
result.append(character)
return ''.join(result)
像这样叫它:
result = filterSpecialChars('Ceñía mañana')
print(result)
当我们使用ascii()时，它会转义非ascii字符，并且不会正确地更改ascii字符。所以我的主要想法是，它不会改变ASCII字符，所以我在字符串中迭代并检查字符是否被改变。如果它改变了，那就用替代品替换它。 例如:' '(单个空格)或'?(带一个问号)。
def remove(x, replacer):
for i in x:
if f"'{i}'" == ascii(i):
pass
else:
x=x.replace(i,replacer)
return x
remove('hái',' ')
结果:“h i”(中间有一个空格)。
语法:remove(str,non_ascii_replacer) 这里你将给出你想要使用的字符串。 non_ascii_replacer =在这里，您将给出要替换所有非ASCII字符的替换器。
为了让你得到最相似的原始字符串的表示，我推荐unidecode模块:
# python 2.x:
from unidecode import unidecode
def remove_non_ascii(text):
return unidecode(unicode(text, encoding = "utf-8"))
然后你可以在字符串中使用它:
remove_non_ascii("Ceñía")
Cenia
这个怎么样?
def replace_trash(unicode_string):
for i in range(0, len(unicode_string)):
try:
unicode_string[i].encode("ascii")
except:
#means it's non-ASCII
unicode_string=unicode_string[i].replace(" ") #replacing it with a single space
return unicode_string
如果替换字符可以是'?'而不是空格，那么我建议result = text。编码(“ascii”、“替换”).decode ():
"""Test the performance of different non-ASCII replacement methods."""
import re
from timeit import timeit
# 10_000 is typical in the project that I'm working on and most of the text
# is going to be non-ASCII.
text = 'Æ' * 10_000
print(timeit(
"""
result = ''.join([c if ord(c) < 128 else '?' for c in text])
""",
number=1000,
globals=globals(),
))
print(timeit(
"""
result = text.encode('ascii', 'replace').decode()
""",
number=1000,
globals=globals(),
))
结果:
0.7208260721400134
0.009975979187503592
