我将数据从.csv文件读取到Pandas数据框架，如下所示。对于其中一列，即id，我想将列类型指定为int。问题是id系列有缺失/空值。
当我试图在读取.csv时将id列强制转换为整数时，我得到:
df= pd.read_csv("data.csv", dtype={'id': int})
error: Integer column has NA values
或者，我尝试转换列类型后，阅读如下，但这一次我得到:
df= pd.read_csv("data.csv")
df[['id']] = df[['id']].astype(int)
error: Cannot convert NA to integer
我该如何解决这个问题?
当前回答
类似于@hibernado的答案，但保持为整数(而不是字符串)
df[col] = df[col].fillna(-1)
df[col] = df[col].astype(int)
df[col] = np.where(df[col] == -1, np.nan, df[col])
其他回答
如果可以删除带有NaN值的行，则可以使用.dropna()。
df = df.dropna(subset=['id'])
另外, 使用.fillna()和.astype()将NaN替换为值并将它们转换为int。
我在处理具有大整数的CSV文件时遇到了这个问题，而其中一些整数缺失(NaN)。使用float作为类型是不可取的，因为我可能会失去精度。
我的解决方案是使用str作为中间类型。 然后，您可以在稍后的代码中将字符串转换为int。我把NaN换成了0，但你可以选择任何值。
df = pd.read_csv(filename, dtype={'id':str})
df["id"] = df["id"].fillna("0").astype(int)
为了说明，这里有一个浮动可能会失去精度的例子:
s = "12345678901234567890"
f = float(s)
i = int(f)
i2 = int(s)
print (f, i, i2)
输出为:
1.2345678901234567e+19 12345678901234567168 12345678901234567890
首先，您需要指定新的整数类型Int8(…Int64)，它可以处理空整数数据(pandas版本>= 0.24.0)
df = df.astype('Int8')
但是你可能想要只针对包含NaN/null的整数数据的特定列:
df = df . astype((’col1’:’Int8’’col2’:’Int8’、’col3’:’Int8’)
此时，NaN将被转换为<NA>，如果您希望使用df.fillna()更改默认空值，则需要在希望更改的列上强制使用对象数据类型，否则您将看到 TypeError: <U1不能转换为IntegerDtype
你可以通过 Df = Df .astype(对象)如果你不介意将每个列的数据类型更改为对象(单独地，每个值的类型仍然保留)…或 Df = Df。如果您喜欢针对单个列，则Astype ({"col1":对象，"col2":对象})。
这应该有助于强制将混合了null值的整数列保持为整数格式，并将空值更改为您喜欢的任何值。我不能说这种方法的效率，但它适用于我的格式化和打印目的。
几周前，我遇到了一些离散的功能被格式化为“对象”的问题。这个解决方案似乎奏效了。
for col in discrete:
df[col] = pd.to_numeric(df[col],errors='coerce').astype(pd.Int64Dtype())
类似于@hibernado的答案，但保持为整数(而不是字符串)
df[col] = df[col].fillna(-1)
df[col] = df[col].astype(int)
df[col] = np.where(df[col] == -1, np.nan, df[col])
与Int64的问题，像许多其他的解决方案，是如果你有空值，他们被替换为<NA>值，这与熊猫默认的'NaN'函数，如isnull()或fillna()不工作。或者，如果您将值转换为-1，则可能会删除您的信息。我的解决方案有点蹩脚，但将用np提供int值。Nan，允许Nan函数在不影响您的值的情况下工作。
def to_int(x):
try:
return int(x)
except:
return np.nan
df[column] = df[column].apply(to_int)
