提问者:小点点

熊猫:从时间戳中提取日期和时间


我有一个timestamp列,其中时间戳的格式如下

2016-06-16T21:35:17.098+01:00

我想从中提取日期和时间。我做了以下工作:

import datetime as dt

df['timestamp'] = df['timestamp'].apply(lambda x : pd.to_datetime(str(x)))

df['dates'] = df['timestamp'].dt.date

这在一段时间内奏效了。但突然之间,情况并非如此。

如果我再次执行df['dates']=df['timestamp']。dt。日期我发现以下错误

Can only use .dt accessor with datetimelike values

幸运的是,我已经在csv中保存了带有日期的数据帧,但是我现在想以23:00:00.051的格式创建另一个列time

编辑

从原始数据文件(1500万个示例)中,时间戳列如下所示(前5个示例):

            timestamp

0           2016-06-13T00:00:00.051+01:00
1           2016-06-13T00:00:00.718+01:00
2           2016-06-13T00:00:00.985+01:00
3           2016-06-13T00:00:02.431+01:00
4           2016-06-13T00:00:02.737+01:00

在执行以下命令之后

df['timestamp'] = df['timestamp'].apply(lambda x : pd.to_datetime(str(x)))
0    2016-06-12 23:00:00.051
1    2016-06-12 23:00:00.718
2    2016-06-12 23:00:00.985
3    2016-06-12 23:00:02.431
4    2016-06-12 23:00:02.737

最后

df['dates'] = df['timestamp'].dt.date

0           2016-06-12
1           2016-06-12
2           2016-06-12
3           2016-06-12
4           2016-06-12

编辑2

发现了错误。我已经清理了数据,并将数据帧保存在csv文件中,所以我不必再次进行清理。当我读取csv时,时间戳dtype变为对象。现在我该怎么解决这个问题?


共3个答案

匿名用户

首先要这样做:

df['time'] = pd.to_datetime(df['timestamp'])

在您像往常一样提取之前:

df['dates'] = df['time'].dt.date

匿名用户

如果日期为字符串形式,则:

import datetime

# this line converts the string object in Timestamp object
df['DateTime'] = [datetime.datetime.strptime(d, "%Y-%m-%d %H:%M") for d in df["DateTime"]]

# extracting date from timestamp
df['Date'] = [datetime.datetime.date(d) for d in df['DateTime']] 

# extracting time from timestamp
df['Time'] = [datetime.datetime.time(d) for d in df['DateTime']] 

如果对象已经处于时间戳格式,则跳过第一行代码。

%Y-%m-%d%H:%M这意味着您的时间戳对象必须采用类似于2016-05-16 12:35:00的形式。

匿名用户

导入csv时,请使用pandas的parse_dates参数。读取\u csv()。例如,要将列utc\u datetime导入为datetime:

parse_dates = ['utc_datetime']
df = pandas.read_csv('file.csv', parse_dates=parse_dates)

要从时间戳中提取日期,请使用Numpy代替熊猫:

df['utc_date'] = numpy.array(df['utc_datetime'].values, dtype='datetime64[D]')

Numpy datetime操作明显快于PANDES datetime操作。