我使用sklearn和有一个问题的亲和传播。我已经建立了一个输入矩阵，我一直得到以下错误。
ValueError: Input contains NaN, infinity or a value too large for dtype('float64').
我已经跑了
np.isnan(mat.any()) #and gets False
np.isfinite(mat.all()) #and gets True
我试着用
mat[np.isfinite(mat) == True] = 0
去除掉无限值，但这也没用。 我要怎么做才能去掉矩阵中的无穷大值，这样我就可以使用亲和传播算法了?
我使用anaconda和python 2.7.9。
当前回答
在处理这个问题很长一段时间后，我意识到这是因为在训练集和测试集的分割中，所有数据行的数据列都是相同的。然后在某些算法中进行一些计算可能会导致无穷大的结果。如果您正在使用的数据的关闭行更可能是相似的，那么重新排列数据会有所帮助。这是scikit的一个漏洞。我使用的是0.23.2版本。
其他回答
我想为numpy提出一个适合我的解决方案。这条线
from numpy import inf
inputArray[inputArray == inf] = np.finfo(np.float64).max
将numpy数组的所有无限值替换为最大的float64数。
我发现在一个新列上调用pct_change后，nan存在于一行中。我用下面的代码删除nan行
df = df.replace([np.inf, -np.inf], np.nan)
df = df.dropna()
df = df.reset_index()
我的输入数组的维度是倾斜的，因为我的输入csv有空格。
这是我的函数(基于此)来清除数据集的nan, Inf和缺失的单元格(用于倾斜的数据集):
import pandas as pd
import numpy as np
def clean_dataset(df):
assert isinstance(df, pd.DataFrame), "df needs to be a pd.DataFrame"
df.dropna(inplace=True)
indices_to_keep = ~df.isin([np.nan, np.inf, -np.inf]).any(axis=1)
return df[indices_to_keep].astype(np.float64)
dataset = dataset.dropna(axis=0, how='any', thresh=None, subset=None, inplace=False)
这对我很有效
