将包含nan的Pandas列转换为dtype ' int '

我将数据从.csv文件读取到Pandas数据框架，如下所示。对于其中一列，即id，我想将列类型指定为int。问题是id系列有缺失/空值。

当我试图在读取.csv时将id列强制转换为整数时，我得到:

df= pd.read_csv("data.csv", dtype={'id': int}) 
error: Integer column has NA values

或者，我尝试转换列类型后，阅读如下，但这一次我得到:

df= pd.read_csv("data.csv") 
df[['id']] = df[['id']].astype(int)
error: Cannot convert NA to integer

我该如何解决这个问题?

当前回答

如果可以修改存储的数据，可以使用一个标记值来替换缺失的id。一个常见的用例，由列名推断，id是一个严格大于零的整数，您可以使用0作为前哨值，这样就可以编写

if row['id']:
   regular_process(row)
else:
   special_process(row)

其他回答

整数列中缺少NaN代表是熊猫的“陷阱”。

通常的解决方法是简单地使用浮动。

试试这个:

df[id]]

如果你输出它的dtypes，你将得到id Int64而不是普通的Int64

无论您的pandas系列是对象数据类型还是简单的浮点数据类型，下面的方法都可以工作

df = pd.read_csv("data.csv") 
df['id'] = df['id'].astype(float).astype('Int64')

类似于@hibernado的答案，但保持为整数(而不是字符串)

df[col] = df[col].fillna(-1)
df[col] = df[col].astype(int)
df[col] = np.where(df[col] == -1, np.nan, df[col])

如果你确实想在一个列中组合整数和nan，你可以使用'object'数据类型:

df['col'] = (
    df['col'].fillna(0)
    .astype(int)
    .astype(object)
    .where(df['col'].notnull())
)

这将用一个整数替换nan(不管哪个)，转换为int，转换为object，最后重新插入nan。

推荐文章