我有一个timestamp
列,其中时间戳的格式如下
2016-06-16T21:35:17.098+01:00
我想从中提取日期和时间。我做了以下工作:
import datetime as dt
df['timestamp'] = df['timestamp'].apply(lambda x : pd.to_datetime(str(x)))
df['dates'] = df['timestamp'].dt.date
这在一段时间内奏效了。但突然之间,情况并非如此。
如果我再次执行df['dates']=df['timestamp']。dt。日期
我发现以下错误
Can only use .dt accessor with datetimelike values
幸运的是,我已经在csv中保存了带有日期
的数据帧,但是我现在想以23:00:00.051
的格式创建另一个列time
编辑
从原始数据文件(1500万个示例)中,时间戳
列如下所示(前5个示例):
timestamp
0 2016-06-13T00:00:00.051+01:00
1 2016-06-13T00:00:00.718+01:00
2 2016-06-13T00:00:00.985+01:00
3 2016-06-13T00:00:02.431+01:00
4 2016-06-13T00:00:02.737+01:00
在执行以下命令之后
df['timestamp'] = df['timestamp'].apply(lambda x : pd.to_datetime(str(x)))
0 2016-06-12 23:00:00.051
1 2016-06-12 23:00:00.718
2 2016-06-12 23:00:00.985
3 2016-06-12 23:00:02.431
4 2016-06-12 23:00:02.737
最后
df['dates'] = df['timestamp'].dt.date
0 2016-06-12
1 2016-06-12
2 2016-06-12
3 2016-06-12
4 2016-06-12
编辑2
发现了错误。我已经清理了数据,并将数据帧保存在csv文件中,所以我不必再次进行清理。当我读取csv时,时间戳dtype
变为对象。现在我该怎么解决这个问题?
首先要这样做:
df['time'] = pd.to_datetime(df['timestamp'])
在您像往常一样提取之前:
df['dates'] = df['time'].dt.date
如果日期为字符串形式,则:
import datetime
# this line converts the string object in Timestamp object
df['DateTime'] = [datetime.datetime.strptime(d, "%Y-%m-%d %H:%M") for d in df["DateTime"]]
# extracting date from timestamp
df['Date'] = [datetime.datetime.date(d) for d in df['DateTime']]
# extracting time from timestamp
df['Time'] = [datetime.datetime.time(d) for d in df['DateTime']]
如果对象已经处于时间戳格式,则跳过第一行代码。
%Y-%m-%d%H:%M
这意味着您的时间戳对象必须采用类似于2016-05-16 12:35:00
的形式。
导入csv时,请使用pandas的
。例如,要将列parse_dates
参数。读取\u csv()utc\u datetime
导入为datetime:
parse_dates = ['utc_datetime']
df = pandas.read_csv('file.csv', parse_dates=parse_dates)
要从时间戳中提取日期,请使用Numpy代替熊猫:
df['utc_date'] = numpy.array(df['utc_datetime'].values, dtype='datetime64[D]')
Numpy datetime操作明显快于PANDES datetime操作。