我用熊猫。To_datetime解析数据中的日期。Pandas默认情况下表示datetime64[ns]的日期,即使这些日期都是每天的。 我想知道是否有一种优雅/聪明的方法将日期转换为datetime。[D]这样,当我把数据写入CSV时,日期不会附加00:00:00。我知道我可以逐个元素手动转换类型:

[dt.to_datetime().date() for dt in df.dates]

但这真的很慢,因为我有很多行,这有点违背了使用pandas.to_datetime的目的。是否有一种方法可以一次转换整个列的dtype ?或者,熊猫也一样。to_datetime支持一个精度规范,以便我可以摆脱时间部分,同时与日常数据?


当前回答

Pandas v0.13+:使用带date_format参数的to_csv

尽可能避免将datetime64[ns]系列转换为datetime的对象dtype系列。日期对象。后者通常使用pd.Series.dt构造。date,存储为指针数组,相对于纯基于numpy的序列效率较低。

由于您关心的是写入CSV时的格式,只需使用to_csv的date_format参数。例如:

df.to_csv(filename, date_format='%Y-%m-%d')

有关格式约定,请参阅Python的strftime指令。

其他回答

我希望能够更改数据帧中一组列的类型,然后删除保持日期的时间。Round (), floor(), ceil()都可以工作

df[date_columns] = df[date_columns].apply(pd.to_datetime)
df[date_columns] = df[date_columns].apply(lambda t: t.dt.floor('d'))

从0.15.0版本开始,现在可以很容易地使用.dt来访问date组件:

df['just_date'] = df['dates'].dt.date

上面返回一个日期时间。Date dtype,如果你想要一个datetime64,那么你可以将time组件规范化为midnight,这样它就会将所有值设置为00:00:00:

df['normalised_date'] = df['dates'].dt.normalize()

这将dtype保持为datetime64,但是显示只显示日期值。

Pandas: .dt访问器 pandas.Series.dt

在>1000000行的表中,我发现这些都是快速的,地板只是稍微快一点:

df['mydate'] = df.index.floor('d')

or

df['mydate'] = df.index.normalize()

如果你的索引有时区,而你不想在结果中显示这些时区,请执行以下操作:

df['mydate'] = df.index.tz_localize(None).floor('d')

Df.index.date要慢很多倍;To_datetime()更糟糕。两者都有进一步的缺点,结果不能保存到hdf存储,因为它不支持datetime.date类型。

注意,这里我使用索引作为日期源;如果您的源是另一列,则需要添加.dt,例如df.mycol.dt.floor('d')

转换为datetime64[D]:

df.dates.values.astype('M8[D]')

尽管将其重新分配给DataFrame col会将其恢复为[ns]。

如果你想要实际的datetime.date:

dt = pd.DatetimeIndex(df.dates)
dates = np.array([datetime.date(*date_tuple) for date_tuple in zip(dt.year, dt.month, dt.day)])

虽然我给EdChum的答案投了赞成票,这是对OP提出的问题最直接的回答,但它并没有真正解决性能问题(它仍然依赖于python datetime对象,因此对它们的任何操作都不会向量化——也就是说,它会很慢)。

更好的替代方法是使用df['dates'].dt.floor('d')。严格来说,它并不是“只保留日期部分”,因为它只是将时间设置为00:00:00。但它确实按照OP的要求工作,例如:

印刷到丝网 保存到CSV 使用列进行分组

... 而且效率更高,因为运算是向量化的。

编辑:事实上,OP们更喜欢的答案可能是“最近版本的熊猫不把时间写入csv,如果所有的观测值都是00:00:00”。