我试图写一个熊猫数据帧(或可以使用numpy数组)到mysql数据库使用MysqlDB。MysqlDB似乎不理解'nan',我的数据库抛出一个错误,说nan不在字段列表中。我需要找到一种方法将“nan”转换为NoneType。
什么好主意吗?
我试图写一个熊猫数据帧(或可以使用numpy数组)到mysql数据库使用MysqlDB。MysqlDB似乎不理解'nan',我的数据库抛出一个错误,说nan不在字段列表中。我需要找到一种方法将“nan”转换为NoneType。
什么好主意吗?
当前回答
您是否有代码块需要检查?
使用.loc, pandas可以基于逻辑条件(过滤)访问记录并对它们执行操作(当使用=时)。将.loc掩码设置为某个值将会就地改变返回数组(所以这里要小心;我建议在使用代码块之前测试一个df副本)。
df.loc[df['SomeColumn'].isna(), 'SomeColumn'] = None
外层的函数是df。loc[row_label, column_label] =无。我们将使用.isna()方法为row_label使用布尔掩码,在SomeColumn列中查找“NoneType”值。
我们将使用.isna()方法返回列SomeColumn中的行/记录布尔数组,作为我们的row_label: df['SomeColumn'].isna()。它将分离SomeColumn中含有熊猫用.isna()方法检查的任何'NoneType'项的所有行。
我们将在屏蔽row_label的数据帧时使用column_label,并在标识我们想要用于.loc掩码的列时使用column_label。
最后,我们将.loc掩码设置为None,因此返回的行/记录将根据掩码索引更改为None。
下面是关于.loc和.isna()的pandas文档链接。
引用: https://pandas.pydata.org/docs/reference/api/pandas.DataFrame.loc.html https://pandas.pydata.org/docs/reference/api/pandas.DataFrame.isna.html
其他回答
df = df.replace({np.nan: None})
注意:对于<1.4的pandas版本,这会将所有受影响列的dtype更改为object。 为了避免这种情况,请使用以下语法:
df = df.replace(np.nan, None)
这要归功于Github上的这个家伙和Killian Huyghe的评论。
经过一番摸索,这招对我很管用:
df = df.astype(object).where(pd.notnull(df),None)
现在对我来说,徒手做是唯一可行的方法。
@rodney cox的回答几乎在所有情况下都对我有效。
下面的代码将所有列设置为对象数据类型,然后将任何空值替换为None。将列数据类型设置为object非常重要,因为这样可以防止pandas进一步更改类型。
for col in df.columns:
df[col] = df[col].astype(object)
df.loc[df[col].isnull(), col] = None
警告:此解决方案效率不高,因为它处理的列可能没有np。nan值。
有时使用此代码更好。注意np指的是numpy:
df = df.fillna(np.nan).replace([np.nan], [None])
很老了,但我偶然发现了同样的问题。 试着这样做:
df['col_replaced'] = df['col_with_npnans'].apply(lambda x: None if np.isnan(x) else x)