我想找到所有的值在熊猫数据帧包含空白(任何任意数量)，并将这些值替换为nan。
有什么想法可以改进吗?
基本上我想把这个
A B C
2000-01-01 -0.532681 foo 0
2000-01-02 1.490752 bar 1
2000-01-03 -1.387326 foo 2
2000-01-04 0.814772 baz
2000-01-05 -0.222552 4
2000-01-06 -1.176781 qux
到这个:
A B C
2000-01-01 -0.532681 foo 0
2000-01-02 1.490752 bar 1
2000-01-03 -1.387326 foo 2
2000-01-04 0.814772 baz NaN
2000-01-05 -0.222552 NaN 4
2000-01-06 -1.176781 qux NaN
我已经设法用下面的代码做到这一点，但男人是丑陋的。它不是Pythonic的，而且我确信它也不是最有效的使用pandas的方法。我循环遍历每一列，并对通过应用一个函数生成的列掩码进行布尔替换，该函数对每个值进行正则表达式搜索，匹配空格。
for i in df.columns:
df[i][df[i].apply(lambda i: True if re.search('^\s*$', str(i)) else False)]=None
它可以通过只遍历可能包含空字符串的字段来进行优化:
if df[i].dtype == np.dtype('object')
但这并没有太大的改善
最后，这段代码将目标字符串设置为None，这与Pandas的函数(如fillna())一起工作，但是如果我可以实际直接插入NaN而不是None，那么对于完整性来说就更好了。
我认为df.replace()完成了这项工作，因为pandas 0.13:
df = pd.DataFrame([
[-0.532681, 'foo', 0],
[1.490752, 'bar', 1],
[-1.387326, 'foo', 2],
[0.814772, 'baz', ' '],
[-0.222552, ' ', 4],
[-1.176781, 'qux', ' '],
], columns='A B C'.split(), index=pd.date_range('2000-01-01','2000-01-06'))
# replace field that's entirely space (or empty) with NaN
print(df.replace(r'^\s*$', np.nan, regex=True))
生产:
A B C
2000-01-01 -0.532681 foo 0
2000-01-02 1.490752 bar 1
2000-01-03 -1.387326 foo 2
2000-01-04 0.814772 baz NaN
2000-01-05 -0.222552 NaN 4
2000-01-06 -1.176781 qux NaN
正如Temak指出的，使用df。替换(r ^ \ s + $, np。nan, regex=True)，以防有效数据包含空白。
如果您想用空格替换空字符串和记录，正确的答案是!：
df = df.replace(r'^\s*$', np.nan, regex=True)
公认的答案
df.replace(r'\s+', np.nan, regex=True)
不替换空字符串!，你可以用稍微更新了一下的例子自己试试:
df = pd.DataFrame([
[-0.532681, 'foo', 0],
[1.490752, 'bar', 1],
[-1.387326, 'fo o', 2],
[0.814772, 'baz', ' '],
[-0.222552, ' ', 4],
[-1.176781, 'qux', ''],
], columns='A B C'.split(), index=pd.date_range('2000-01-01','2000-01-06'))
还要注意，'fo o'不会被Nan取代，尽管它包含一个空格。
进一步注意，一个简单的:
df.replace(r'', np.NaN)
也不行，试试吧。
你也可以用滤镜来做。
df = PD.DataFrame([
[-0.532681, 'foo', 0],
[1.490752, 'bar', 1],
[-1.387326, 'foo', 2],
[0.814772, 'baz', ' '],
[-0.222552, ' ', 4],
[-1.176781, 'qux', ' '])
df[df=='']='nan'
df=df.astype(float)
