我有一个套接字服务器，它应该从客户端接收UTF-8有效字符。
问题是一些客户端(主要是黑客)通过它发送所有错误类型的数据。
我可以很容易地区分真正的客户端，但我将发送的所有数据记录到文件中，以便以后进行分析。
有时我会得到这样的字符，导致UnicodeDecodeError错误。
我需要能够使字符串UTF-8与或没有这些字符。
更新:
对于我的特殊情况，套接字服务是一个MTA，因此我只希望接收ASCII命令，如:
EHLO example.com
MAIL FROM: <john.doe@example.com>
...
我用JSON记录了所有这些。
然后一些没有善意的人决定发送各种垃圾。
这就是为什么对于我的特定情况，剥离非ASCII字符是完全可以的。
当前回答
http://docs.python.org/howto/unicode.html#the-unicode-type
str = unicode(str, errors='replace')
or
str = unicode(str, errors='ignore')
注意:这将剔除(忽略)有问题的字符，返回没有它们的字符串。
对我来说，这是理想的情况，因为我使用它作为保护，防止我的应用程序不允许的非ascii输入。
或者:使用codecs模块中的open方法读入文件:
import codecs
with codecs.open(file_name, 'r', encoding='utf-8',
errors='ignore') as fdata:
其他回答
我有同样的问题与UnicodeDecodeError，我解决了它与这一行。 不知道这是不是最好的方法，但对我来说很有效。
str = str.decode('unicode_escape').encode('utf-8')
>>> '\x9c'.decode('cp1252')
u'\u0153'
>>> print '\x9c'.decode('cp1252')
œ
我也犯了同样的错误。
对我来说，Python抱怨字节“0x87”。我在https://bytetool.web.app/en/ascii/code/0x87/上查了一下，上面告诉我这个字节属于Windows-1252编解码器。
然后我只在我的Python文件的开头添加了这一行:
#-*- encoding: Windows-1252 -*-"
所有的错误都消失了。在添加这一行之前，我曾尝试Pandas像这样导入文件:
Df = pd.read_csv(data, sep=",", engine='python', header=0, encoding='Windows-1252')
但是这返回了一个错误。所以我把它改成了这样:
Df = pd.read_csv(data, sep=",", engine='python', header=0)
把引擎从C改为Python对我来说很管用。
发动机为C:
pd.read_csv(gdp_path, sep='\t', engine='c')
'utf-8'编解码器无法解码位置18中的字节0x92:无效的开始字节
引擎是Python:
pd.read_csv(gdp_path, sep='\t', engine='python')
对我来说没有错误。
如果像您说的那样，您只是想允许纯7位ASCII，那么就丢弃任何不是纯7位ASCII的字节。如果没有显式指定的编码，就没有直接的方法来猜测远端希望它们表示什么。
while bytes := socket.read_line_bytes():
try:
string = bytes.decode('us-ascii')
except UnicodeDecodeError as exc:
logger.warning('[%s] - rejected non-ASCII input %s' % (client, bytes.decode('us-ascii', errors='backslashreplace'))
socket.write(b'421 communication error - non-ASCII content rejected\r\n')
continue
...
