将Pandas或Numpy Nan替换为None以用于MysqlDB

我试图写一个熊猫数据帧(或可以使用numpy数组)到mysql数据库使用MysqlDB。MysqlDB似乎不理解'nan'，我的数据库抛出一个错误，说nan不在字段列表中。我需要找到一种方法将“nan”转换为NoneType。

什么好主意吗?

当前回答

还有另一个选择，它确实对我有用:

df = df.astype(object).replace(np.nan, None)

其他回答

在熊猫更新到1.3.2后，我发现推荐的答案和替代建议都不适合我的应用程序，我用蛮力方法解决了安全问题:

buf = df.to_json(orient='records')
recs = json.loads(buf)

你可以在numpy数组中用None替换nan:

>>> x = np.array([1, np.nan, 3])
>>> y = np.where(np.isnan(x), None, x)
>>> print y
[1.0 None 3.0]
>>> print type(y[1])
<type 'NoneType'>

df = df.replace({np.nan: None})

注意:对于<1.4的pandas版本，这会将所有受影响列的dtype更改为object。为了避免这种情况，请使用以下语法:

df = df.replace(np.nan, None)

这要归功于Github上的这个家伙和Killian Huyghe的评论。

在替换为where语句之前，将numpy NaN转换为pandas NA:

df = df.replace(np.NaN, pd.NA).where(df.notnull(), None)

您是否有代码块需要检查?

使用.loc, pandas可以基于逻辑条件(过滤)访问记录并对它们执行操作(当使用=时)。将.loc掩码设置为某个值将会就地改变返回数组(所以这里要小心;我建议在使用代码块之前测试一个df副本)。

df.loc[df['SomeColumn'].isna(), 'SomeColumn'] = None

外层的函数是df。loc[row_label, column_label] =无。我们将使用.isna()方法为row_label使用布尔掩码，在SomeColumn列中查找“NoneType”值。

我们将使用.isna()方法返回列SomeColumn中的行/记录布尔数组，作为我们的row_label: df['SomeColumn'].isna()。它将分离SomeColumn中含有熊猫用.isna()方法检查的任何'NoneType'项的所有行。

我们将在屏蔽row_label的数据帧时使用column_label，并在标识我们想要用于.loc掩码的列时使用column_label。

最后，我们将.loc掩码设置为None，因此返回的行/记录将根据掩码索引更改为None。

下面是关于.loc和.isna()的pandas文档链接。

引用: https://pandas.pydata.org/docs/reference/api/pandas.DataFrame.loc.html https://pandas.pydata.org/docs/reference/api/pandas.DataFrame.isna.html

推荐文章