将空白值(空格)替换为pandas中的NaN

我想找到所有的值在熊猫数据帧包含空白(任何任意数量)，并将这些值替换为nan。

有什么想法可以改进吗?

基本上我想把这个

                   A    B    C
2000-01-01 -0.532681  foo    0
2000-01-02  1.490752  bar    1
2000-01-03 -1.387326  foo    2
2000-01-04  0.814772  baz     
2000-01-05 -0.222552         4
2000-01-06 -1.176781  qux

到这个:

                   A     B     C
2000-01-01 -0.532681   foo     0
2000-01-02  1.490752   bar     1
2000-01-03 -1.387326   foo     2
2000-01-04  0.814772   baz   NaN
2000-01-05 -0.222552   NaN     4
2000-01-06 -1.176781   qux   NaN

我已经设法用下面的代码做到这一点，但男人是丑陋的。它不是Pythonic的，而且我确信它也不是最有效的使用pandas的方法。我循环遍历每一列，并对通过应用一个函数生成的列掩码进行布尔替换，该函数对每个值进行正则表达式搜索，匹配空格。

for i in df.columns:
    df[i][df[i].apply(lambda i: True if re.search('^\s*$', str(i)) else False)]=None

它可以通过只遍历可能包含空字符串的字段来进行优化:

if df[i].dtype == np.dtype('object')

但这并没有太大的改善

最后，这段代码将目标字符串设置为None，这与Pandas的函数(如fillna())一起工作，但是如果我可以实际直接插入NaN而不是None，那么对于完整性来说就更好了。

当前回答

print(df.isnull().sum()) # check numbers of null value in each column

modifiedDf=df.fillna("NaN") # Replace empty/null values with "NaN"

# modifiedDf = fd.dropna() # Remove rows with empty values

print(modifiedDf.isnull().sum()) # check numbers of null value in each column

2018-09-29 20:31:29

其他回答

这应该可以

df.loc[df.Variable == '', 'Variable'] = 'Value'

df.loc[df.Variable1 == '', 'Variable2'] = 'Value'

2020-10-08 10:54:27

我是这样做的:

df = df.apply(lambda x: x.str.strip()).replace('', np.nan)

df = df.apply(lambda x: x.str.strip() if isinstance(x, str) else x).replace('', np.nan)

你可以去掉所有的str，然后用np.nan替换空str。

2016-04-29 09:34:48

如果你从CSV文件中导出数据，它可以像这样简单:

df = pd.read_csv(file_csv, na_values=' ')

这将创建数据帧，并将空白值替换为Na

2018-01-07 16:07:39

这对我很管用。当我导入我的csv文件，我添加了na_values = ' '。默认NaN值中不包括空格。

df= pd.read_csv(filepath,na_values = ' ')

2020-05-08 00:49:01

你也可以用滤镜来做。

df = PD.DataFrame([
    [-0.532681, 'foo', 0],
    [1.490752, 'bar', 1],
    [-1.387326, 'foo', 2],
    [0.814772, 'baz', ' '],     
    [-0.222552, '   ', 4],
    [-1.176781,  'qux', '  '])
    df[df=='']='nan'
    df=df.astype(float)

2018-02-01 10:14:45

将空白值(空格)替换为pandas中的NaN

推荐文章

最新文章

标签