简而言之，为了确保在Python 2中正确处理unicode:

使用io。打开文件读写 使用from __future__ import unicode_literals 配置其他数据输入/输出(例如，数据库，网络)使用unicode 如果不能将输出配置为utf-8，请将输出转换为print(text。编码(“ascii”、“替换”).decode ())

有关解释，请参阅@Alastair McCormack的详细回答。

这是我的解决方案，只需添加编码。 用open(file, encoding='utf8')作为f

因为读取glove文件需要很长时间，所以我建议将glove文件转换为numpy文件。当你读取嵌入权重时，它将节省你的时间。

import numpy as np
from tqdm import tqdm


def load_glove(file):
    """Loads GloVe vectors in numpy array.
    Args:
        file (str): a path to a glove file.
    Return:
        dict: a dict of numpy arrays.
    """
    embeddings_index = {}
    with open(file, encoding='utf8') as f:
        for i, line in tqdm(enumerate(f)):
            values = line.split()
            word = ''.join(values[:-300])
            coefs = np.asarray(values[-300:], dtype='float32')
            embeddings_index[word] = coefs

    return embeddings_index

# EMBEDDING_PATH = '../embedding_weights/glove.840B.300d.txt'
EMBEDDING_PATH = 'glove.840B.300d.txt'
embeddings = load_glove(EMBEDDING_PATH)

np.save('glove_embeddings.npy', embeddings) 

Gist链接:https://gist.github.com/BrambleXu/634a844cdd3cd04bb2e3ba3c83aef227

在某些情况下，当你检查你的默认编码(打印sys.getdefaultencoding())时，它会返回你使用的是ASCII。如果您更改为UTF-8，它将不起作用，这取决于变量的内容。 我找到了另一种方法:

import sys
reload(sys)  
sys.setdefaultencoding('Cp1252')

为了在Ubuntu安装的操作系统层面上解决这个问题，请检查以下内容:

$ locale charmap

如果你得到

locale: Cannot set LC_CTYPE to default locale: No such file or directory

而不是

UTF-8

然后像这样设置LC_CTYPE和LC_ALL:

$ export LC_ALL="en_US.UTF-8"
$ export LC_CTYPE="en_US.UTF-8"

我正在搜索解决以下错误信息:

Unicodedecodeerror: 'ascii'编解码器无法解码位置5454中的字节0xe2:序号不在范围(128)

我最终通过指定'encoding'来修复它:

f = open('../glove/glove.6B.100d.txt', encoding="utf-8")

希望它也能帮助到你。

简而言之，为了确保在Python 2中正确处理unicode:

使用io。打开文件读写 使用from __future__ import unicode_literals 配置其他数据输入/输出(例如，数据库，网络)使用unicode 如果不能将输出配置为utf-8，请将输出转换为print(text。编码(“ascii”、“替换”).decode ())

有关解释，请参阅@Alastair McCormack的详细回答。