问题 “by”data.table中的空因子

我有一个data.table，其因子列具有空白级别。我需要得到行计数和其他变量的总和，所有变量都按多个因素分组，包括空级别的变量。我的问题与此类似一，但在这里我需要考虑多种因素。

例如，让data.table为：

library('data.table')

dtr <- data.table(v1=sample(1:15), 
v2=factor(sample(letters[1:3], 15, replace = TRUE),levels=letters[1:5]),
v3=sample(c("yes", "no"), 15, replace = TRUE))

我想做以下事情：

dtr[,list(freq=.N,mm=sum(v1,na.rm=T)),by=list(v2,v3)]

#Output is:
   v2  v3 freq mm
1:  b yes    4 22
2:  b  no    1 13
3:  c  no    3 10
4:  a  no    4 49
5:  c yes    1 10
6:  a yes    2 16

我想要输出包括v2的空级别（“d”和“e”），就像在 table(dtr$v2,dtr$v3)，所以最终输出看起来像（顺序无关紧要）：

   v2  v3 freq mm
1:  b yes    4 22
2:  b  no    1 13
3:  c  no    3 10
4:  a  no    4 49
5:  c yes    1 10
6:  a yes    2 16
7:  d yes    0 0
8:  d no    0 0
9:  e yes    0 0
10:  e no    0 0

我试图使用链接中使用的方法，但我不确定如何使用多个列时使用联合J（）函数。

这适用于仅1列的灌浆：

setkey(dtr,v2)
dtr[J(levels(v2)),list(freq=.N,mm=sum(v1,na.rm=T))]

然而， dtr[J(levels(v2),v3),list(freq=.N,mm=sum(v1,na.rm=T))] 不包括所有组合

2933

2017-09-18 07:59

起源

我发现如果我改变值的顺序并设置 setkey(dtr,v3,v2) 和 unique(dtr[J(v3,levels(v2)),list(freq=.N,mm=sum(v1,na.rm=T))]) 会工作，但任何人都可以解释为什么，它将适用于超过2组的大数据。 - Asayat

谢谢@Asayat。我在这里提交了FR＃4914： r-forge.r-project.org/tracker/... - Arun

答案:

library(data.table)
set.seed(42)
dtr <- data.table(v1=sample(1:15), 
                  v2=factor(sample(letters[1:3], 15, replace = TRUE),levels=letters[1:5]),
                  v3=sample(c("yes", "no"), 15, replace = TRUE))

res <- dtr[,list(freq=.N,mm=sum(v1,na.rm=T)),by=list(v2,v3)]

您可以使用 CJ （交叉连接）。在聚合之后执行此操作可以避免为大表设置密钥，并且应该更快。

setkeyv(res,c("v2","v3"))
res[CJ(levels(dtr[,v2]),unique(dtr[,v3])),]

#    v2  v3 freq mm
# 1:  a  no    1  9
# 2:  a yes    2 11
# 3:  b  no    2 11
# 4:  b yes    3 23
# 5:  c  no    4 40
# 6:  c yes    3 26
# 7:  d  no   NA NA
# 8:  d yes   NA NA
# 9:  e  no   NA NA
# 10:  e yes   NA NA

2017-09-18 08:16

> 5 * 10 ^ 6行和> 300因子级别tapply将永远运行:) - Asayat

@Arun从统计的角度来看，处理像这样的空因子水平是有意义的。 - Roland

@Asayat不，Arun正在谈论改进data.table来处理像这样的因素 tapply 确实。 - Roland

对不起，@ Arun，刚拿到它:)很遗憾没有data.table包我脑子里处理这个:) - Asayat

table() 还将捕获零的freq值。要获得“mm”列，您可以进行基本连接。例如，

library(data.table)
set.seed(42)
dtr <- data.table(v1=sample(1:15), 
                  v2=factor(sample(letters[1:3], 15, replace = TRUE),levels=letters[1:5]),
                  v3=sample(c("yes", "no"), 15, replace = TRUE))
res <- as.data.table(dtr[,table(v2,v3)])
setnames(res,'N','freq')
setkey(res,v2,v3)
setkey(dtr,v2,v3)
res <- dtr[,.(mm=sum(v1,na.rm=TRUE)),by=c('v2','v3')][res]

我不知道怎么做 table() 交叉连接的基准。

2017-09-25 02:53

问题 “by”data.table中的空因子

答案:

热门问题