我将数据从.csv文件读取到Pandas数据框架，如下所示。对于其中一列，即id，我想将列类型指定为int。问题是id系列有缺失/空值。
当我试图在读取.csv时将id列强制转换为整数时，我得到:
df= pd.read_csv("data.csv", dtype={'id': int})
error: Integer column has NA values
或者，我尝试转换列类型后，阅读如下，但这一次我得到:
df= pd.read_csv("data.csv")
df[['id']] = df[['id']].astype(int)
error: Cannot convert NA to integer
我该如何解决这个问题?
当前回答
与Int64的问题，像许多其他的解决方案，是如果你有空值，他们被替换为<NA>值，这与熊猫默认的'NaN'函数，如isnull()或fillna()不工作。或者，如果您将值转换为-1，则可能会删除您的信息。我的解决方案有点蹩脚，但将用np提供int值。Nan，允许Nan函数在不影响您的值的情况下工作。
def to_int(x):
try:
return int(x)
except:
return np.nan
df[column] = df[column].apply(to_int)
其他回答
我在使用pyspark时遇到了这个问题。由于这是运行在jvm上的代码的python前端，它需要类型安全，使用float而不是int是不可取的。我把熊猫包裹起来，解决了这个问题。函数中的Read_csv，该函数将在将用户定义的列转换为所需类型之前，用用户定义的填充值填充用户定义的列。这是我最终使用的:
def custom_read_csv(file_path, custom_dtype = None, fill_values = None, **kwargs):
if custom_dtype is None:
return pd.read_csv(file_path, **kwargs)
else:
assert 'dtype' not in kwargs.keys()
df = pd.read_csv(file_path, dtype = {}, **kwargs)
for col, typ in custom_dtype.items():
if fill_values is None or col not in fill_values.keys():
fill_val = -1
else:
fill_val = fill_values[col]
df[col] = df[col].fillna(fill_val).astype(typ)
return df
如果你确实想在一个列中组合整数和nan，你可以使用'object'数据类型:
df['col'] = (
df['col'].fillna(0)
.astype(int)
.astype(object)
.where(df['col'].notnull())
)
这将用一个整数替换nan(不管哪个)，转换为int，转换为object，最后重新插入nan。
import pandas as pd
df= pd.read_csv("data.csv")
df['id'] = pd.to_numeric(df['id'])
与Int64的问题，像许多其他的解决方案，是如果你有空值，他们被替换为<NA>值，这与熊猫默认的'NaN'函数，如isnull()或fillna()不工作。或者，如果您将值转换为-1，则可能会删除您的信息。我的解决方案有点蹩脚，但将用np提供int值。Nan，允许Nan函数在不影响您的值的情况下工作。
def to_int(x):
try:
return int(x)
except:
return np.nan
df[column] = df[column].apply(to_int)
在0.24版本中。+ pandas获得了保存缺少值的整型dtypes的能力。
可空整数数据类型。
Pandas可以使用arrays.IntegerArray表示可能缺少值的整数数据。这是在pandas中实现的扩展类型。它不是整数的默认dtype，也不会被推断出来;你必须显式地将dtype传递给array()或Series:
arr = pd.array([1, 2, np.nan], dtype=pd.Int64Dtype())
pd.Series(arr)
0 1
1 2
2 NaN
dtype: Int64
将列转换为可空整数使用:
df['myCol'] = df['myCol'].astype('Int64')
