我将数据从.csv文件读取到Pandas数据框架，如下所示。对于其中一列，即id，我想将列类型指定为int。问题是id系列有缺失/空值。
当我试图在读取.csv时将id列强制转换为整数时，我得到:
df= pd.read_csv("data.csv", dtype={'id': int})
error: Integer column has NA values
或者，我尝试转换列类型后，阅读如下，但这一次我得到:
df= pd.read_csv("data.csv")
df[['id']] = df[['id']].astype(int)
error: Cannot convert NA to integer
我该如何解决这个问题?
当前回答
假设您的DateColumn格式3312018.0应该转换为03/31/2018作为字符串。并且，一些记录丢失或为0。
df['DateColumn'] = df['DateColumn'].astype(int)
df['DateColumn'] = df['DateColumn'].astype(str)
df['DateColumn'] = df['DateColumn'].apply(lambda x: x.zfill(8))
df.loc[df['DateColumn'] == '00000000','DateColumn'] = '01011980'
df['DateColumn'] = pd.to_datetime(df['DateColumn'], format="%m%d%Y")
df['DateColumn'] = df['DateColumn'].apply(lambda x: x.strftime('%m/%d/%Y'))
其他回答
现在可以创建一个包含nan的pandas列作为dtype int，因为它现在正式添加在pandas 0.24.0上
熊猫0.24。X发行说明 引用:“Pandas已经获得了保存缺少值的整型dtypes的能力
我认为@消化1010101的方法更适合Pandas 1.2。+版本，像这样的东西应该做的工作:
df = df.astype({
'col_1': 'Int64',
'col_2': 'Int64',
'col_3': 'Int64',
'col_4': 'Int64', })
无论您的pandas系列是对象数据类型还是简单的浮点数据类型，下面的方法都可以工作
df = pd.read_csv("data.csv")
df['id'] = df['id'].astype(float).astype('Int64')
我的用例是在加载到DB表之前修改数据:
df[col] = df[col].fillna(-1)
df[col] = df[col].astype(int)
df[col] = df[col].astype(str)
df[col] = df[col].replace('-1', np.nan)
删除nan，转换为int，转换为str，然后重新插入nan。
它不漂亮，但它完成了工作!
首先，您需要指定新的整数类型Int8(…Int64)，它可以处理空整数数据(pandas版本>= 0.24.0)
df = df.astype('Int8')
但是你可能想要只针对包含NaN/null的整数数据的特定列:
df = df . astype((’col1’:’Int8’’col2’:’Int8’、’col3’:’Int8’)
此时，NaN将被转换为<NA>，如果您希望使用df.fillna()更改默认空值，则需要在希望更改的列上强制使用对象数据类型，否则您将看到 TypeError: <U1不能转换为IntegerDtype
你可以通过 Df = Df .astype(对象)如果你不介意将每个列的数据类型更改为对象(单独地，每个值的类型仍然保留)…或 Df = Df。如果您喜欢针对单个列，则Astype ({"col1":对象，"col2":对象})。
这应该有助于强制将混合了null值的整数列保持为整数格式，并将空值更改为您喜欢的任何值。我不能说这种方法的效率，但它适用于我的格式化和打印目的。
