问题 有条件的cumsum与重置


我有一个数据框,数据框已按需要排序,但现在我想在组中“切片”。

此组的最大累计值应为10.当累计值> 10时,它应重置累计总和并重新开始

library(dplyr)
id <- sample(1:15)
order <- 1:15
value  <- c(4, 5, 7, 3, 8, 1, 2, 5, 3, 6, 2, 6, 3, 1, 4)
df  <- data.frame(id, order, value)
df

这是我正在寻找的输出(我是“手动”完成的)

cumsum_10  <- c(4, 9, 7, 10, 8, 9, 2, 7, 10, 6, 8, 6, 9, 10, 4)
group_10 <- c(1, 1, 2, 2, 3, 3, 4, 4, 4, 5, 5, 6, 6, 6, 7)
df1  <- data.frame(df, cumsum_10, group_10)
df1

所以我遇到了两个问题

  1. 如何创建一个累积变量,每当它超过上限时重置(在这种情况下为10)
  2. 如何计算/分组每个组

对于第一部分,我尝试了group_by和cumsum的一些组合而没有运气

df1 <- df %>% group_by(cumsum(c(False, value < 10)))

我更喜欢管道(%>%)解决方案而不是for循环

谢谢


2223
2017-12-30 14:38


起源

第二部分将是微不足道的(group_by)如果你能弄清楚第一个。我认为如果没有一个,那就很难做到第一个 for 循环,除非有人变得非常聪明。你想要管道效率,优雅,......?如果在辅助函数中隐藏了一个for循环,那可以吗? - Ben Bolker
核实 stackoverflow.com/questions/29054459/... - Khashaa
group_by(bin(value, 10))%>% mutate(cumsum(value)) 运用 bin 功能在链接中 - Khashaa
可能重复 stackoverflow.com/questions/15466880/... - akrun


答案:


我认为这不容易矢量化......至少我不知道如何。

你能行的 by hand 通过:

my_cumsum <- function(x){
  grp = integer(length(x))
  grp[1] = 1
  for(i in 2:length(x)){
    if(x[i-1] + x[i] <= 10){
      grp[i] = grp[i-1]
      x[i] = x[i-1] + x[i]
    } else {
      grp[i] = grp[i-1] + 1
    }
  }
  data.frame(grp, x)
}

对于您的数据,这给出:

> my_cumsum(df$value)
   grp  x
1    1  4
2    1  9
3    2  7
4    2 10
5    3  8
6    3  9
7    4  2
8    4  7
9    4 10
10   5  6
11   5  8
12   6  6
13   6  9
14   6 10
15   7  4

同样对于我的“反例”,这给出了:

> my_cumsum(c(10,6,4))
  grp  x
1   1 10
2   2  6
3   2 10

正如@Khashaa所指出的,这可以通过更有效的方式实现 Rcpp。他联想到这个答案 如何加速或矢量化for循环? 我觉得非常有用


7
2017-12-30 15:15





下面的函数使用递归来构造一个具有每个组长度的向量。对于小数据向量(长度小于约100个值),它比循环快,但对于较长的数据向量,则慢。它需要三个参数:

1) vec:我们要分组的值向量。

2) i:起始位置的索引 vec

3) glv:组长度的向量。这是返回值,但我们需要初始化它并在每次递归时传递它。

# Group a vector based on consecutive values with a cumulative sum <= 10
gf = function(vec, i, glv) {

  ## Break out of the recursion when we get to the last group
  if (sum(vec[i:length(vec)]) <= 10) {
    glv = c(glv, length(i:length(vec)))
    return(glv)
  }

  ## Keep recursion going if there are at least two groups left
  # Calculate length of current group
  gl = sum(cumsum(vec[i:length(vec)]) <= 10)

  # Append to previous group lengths
  glv.append = c(glv, gl)

  # Call function recursively 
  gf(vec, i + gl, glv.append)
}

运行该函数以返回组长度的向量:

group_vec = gf(df$value, 1, numeric(0))
[1] 2 2 2 3 2 3 1

要添加列 df 与组长度,使用 rep

df$group10 = rep(1:length(group_vec), group_vec)

在其当前形式中,该函数仅适用于不具有大于10的任何值的向量,并且对于<= 10的分组是硬编码的。该功能当然可以概括为处理这些限制。

通过执行仅向前看一定数量的值而不是向量的剩余长度的累积和,可以稍微加速该函数。例如,如果值始终为正值,则您只需要提前查看十个值,因为您永远不需要将十个以上的数字相加以达到值10.这也可以针对任何目标值进行推广。即使进行了这种修改,该函数仍然比具有超过约100个值的向量的循环慢。

我以前没有在R中使用递归函数,并且对于递归是否对这类问题有意义以及是否可以改进,尤其是执行速度感兴趣。


3
2017-12-31 04:07





您可以定义自己的函数,然后在dplyr中使用它 mutate 声明如下:

df %>% group_by() %>%
  mutate(
    cumsum_10 = cumsum_with_reset(value, 10),
    group_10 = cumsum_with_reset_group(value, 10)
  ) %>% 
  ungroup()

cumsum_with_reset() function接受一列和一个重置总和的阈值。 cumsum_with_reset_group() 类似但标识已组合在一起的行。定义如下:

# group rows based on cumsum with reset
cumsum_with_reset_group <- function(x, threshold) {
  cumsum <- 0
  group <- 1
  result <- numeric()

  for (i in 1:length(x)) {
    cumsum <- cumsum + x[i]

    if (cumsum > threshold) {
      group <- group + 1
      cumsum <- x[i]
    }

    result = c(result, group)

  }

  return (result)
}

# cumsum with reset
cumsum_with_reset <- function(x, threshold) {
  cumsum <- 0
  group <- 1
  result <- numeric()

  for (i in 1:length(x)) {
    cumsum <- cumsum + x[i]

    if (cumsum > threshold) {
      group <- group + 1
      cumsum <- x[i]
    }

    result = c(result, cumsum)

  }

  return (result)
}

# use functions above as window functions inside mutate statement
df %>% group_by() %>%
  mutate(
    cumsum_10 = cumsum_with_reset(value, 10),
    group_10 = cumsum_with_reset_group(value, 10)
  ) %>% 
  ungroup()

1
2018-02-09 09:57





我们可以利用这个功能 cumsumbinning,从包 MESS,执行此任务:

library(MESS)
df %>%
  group_by(group_10 = cumsumbinning(value, 10)) %>%
  mutate(cumsum_10 = cumsum(value)) 

产量

# A tibble: 15 x 5
# Groups:   group_10 [7]
      id order value group_10 cumsum_10
   <int> <int> <dbl>    <int>     <dbl>
 1     6     1     4        1         4
 2    10     2     5        1         9
 3     1     3     7        2         7
 4     5     4     3        2        10
 5     3     5     8        3         8
 6     9     6     1        3         9
 7    14     7     2        4         2
 8    11     8     5        4         7
 9    15     9     3        4        10
10     8    10     6        5         6
11    12    11     2        5         8
12     2    12     6        6         6
13     4    13     3        6         9
14     7    14     1        6        10
15    13    15     4        7         4

0
2017-08-21 07:14