提问者:小点点

使用data. table按唯一值分组[重复]


我有一个超过130 000行的data. table。

我想通过变量id对两个对象进行分组:日期进度,并将值放入向量中,因此我使用了聚合()

df_agr <- aggregate(cbind(progress, dates) ~ id, data = df_test, FUN = c)

但是,聚合数据大约需要52秒,我丢失了来自col日期的日期格式。

数据框的示例:

            id      dates progress
 1:  3505H6856 2003-07-10      yes
 2:  3505H6856 2003-08-21      yes
 3:  3505H6856 2003-09-04      yes
 4:  3505H6856 2003-10-16      yes
 5: 3505H67158 2003-01-14      yes
 6: 3505H67158 2003-02-18      yes
 7: 3505H67862 2003-03-06      yes
 8: 3505H62168 2003-04-24       no
 9: 3505H62168 2003-05-15      yes
10: 3505H65277 2003-02-11      yes

我得到的结果是:

          id   progress       dates
1 3505H62168       1, 2        5, 6
2 3505H65277          2           2
3 3505H67158       2, 2        1, 3
4 3505H67862          2           4
5  3505H6856 2, 2, 2, 2        7, 8, 9, 10

我很惊讶地看到一切都在转换为整数似乎包含“独立”向量的每一行实际上都是列表中的向量:

'data.frame':   5 obs. of  3 variables:
 $ id      : chr  "3505H62168" "3505H65277" "3505H67158" "3505H67862" ...
 $ progress:List of 5
  ..$ 1: int  1 2
  ..$ 2: int 2
  ..$ 3: int  2 2
  ..$ 4: int 2
  ..$ 5: int  2 2 2 2
 $ dates   :List of 5
  ..$ 1: int  5 6
  ..$ 2: int 2
  ..$ 3: int  1 3
  ..$ 4: int 4
  ..$ 5: int  7 8 9 10

我试图用正确的格式转换回日期:

lapply(df_agr$dates, function(x) as.Date(x, origin="1970-01-01"))

但是我得到了:

$`1`
[1] "1970-01-06" "1970-01-07"

$`2`
[1] "1970-01-03"

$`3`
[1] "1970-01-02" "1970-01-04"

$`4`
[1] "1970-01-05"

$`5`
[1] "1970-01-08" "1970-01-09" "1970-01-10" "1970-01-11"

所以似乎起源不是"1970-01-01",因为它写在留档中,也许是数据中的最低日期?

所以我的问题是:如何在保持日期格式的同时,用data. table得到相同的结果?

所以这意味着如何使用data. table按唯一id分组。我尝试过:

setDT(df)[,list(col1 = c(progress), col2 = c(dates)), by = .(unique(id))]

但是当然我得到了以下错误:

[. data.table中的错误(df,,list(col1=c(进度),col2=c(日期)),:'by'或'keyby'列表中的项目是长度(5)。每个必须与x中的行或i(10)返回的行数相同。

数据:

structure(list(id = c("3505H6856", "3505H6856", "3505H6856", 
"3505H6856", "3505H67158", "3505H67158", "3505H67862", "3505H62168", 
"3505H62168", "3505H65277"), dates = structure(c(12243, 12285, 
12299, 12341, 12066, 12101, 12117, 12166, 12187, 12094), class = "Date"), 
    progress = c("yes", "yes", "yes", "yes", "yes", "yes", "yes", 
    "no", "yes", "yes")), .Names = c("id", "dates", "progress"
), class = c("data.frame"), row.names = c(NA, -10L
))

共2个答案

匿名用户

你可以使用paste0我认为如下所示,你需要将日期更改为字符,这样它就不会转换为数字对应物,运行下面的查询而不将日期转换为数字会给你像,12166,12187这样的值。在你的查询中,你也使用“c”来组合对象,但是我们应该使用粘贴来组合,当你使用时,也在data. table中。(id)in by它应该给你唯一的值,除非你的查询有一些东西没有使事情变得独特,例如,在这种情况下,如果你避免折叠语句,你将不会得到ID上的唯一键,我希望这是有帮助的。谢谢:

df_agr <- aggregate(cbind(progress, as.character(dates)) ~ id, data = df, FUN = paste0)

> df_agr
          id           progress                                             V2
1 3505H62168            no, yes                         2003-04-24, 2003-05-15
2 3505H65277                yes                                     2003-02-11
3 3505H67158           yes, yes                         2003-01-14, 2003-02-18
4 3505H67862                yes                                     2003-03-06
5  3505H6856 yes, yes, yes, yes 2003-07-10, 2003-08-21, 2003-09-04, 2003-10-16
>

使用data. table:

setDT(df)[,.(paste0(progress,collapse=","), paste0(as.character(dates),collapse=",")), by = .(id)]


           id              V1                                          V2
1:  3505H6856 yes,yes,yes,yes 2003-07-10,2003-08-21,2003-09-04,2003-10-16
2: 3505H67158         yes,yes                       2003-01-14,2003-02-18
3: 3505H67862             yes                                  2003-03-06
4: 3505H62168          no,yes                       2003-04-24,2003-05-15
5: 3505H65277             yes                                  2003-02-11

或者只是指出由大卫Arenberg,更容易的方式在data. table是,感谢宝贵的意见:

setDT(df)[, lapply(.SD, toString), by = id]

匿名用户

dplyr版本。

library(dplyr)
df %>% 
   group_by(id) %>%
   summarize (progress = paste(progress, collapse=","),
              dates = paste(dates, collapse=",") )

#          id        progress                                       dates
#        <chr>           <chr>                                       <chr>
# 1 3505H62168          no,yes                       2003-04-24,2003-05-15
# 2 3505H65277             yes                                  2003-02-11
# 3 3505H67158         yes,yes                       2003-01-14,2003-02-18
# 4 3505H67862             yes                                  2003-03-06
# 5  3505H6856 yes,yes,yes,yes 2003-07-10,2003-08-21,2003-09-04,2003-10-16