提问者:小点点

基于第二数据帧的数据集重复子集划分及算法


我有一个数据帧dfA(65,000行)的形式:

Chr Pos     NCP     NCP_Ratio
1   72      1.06    0.599
1   371     4.26    1.331
1   633     2.10    2.442
1   859     1.62    1.276
1   1032    7.62    4.563
1   1199    6.12    4.896
1   1340    13.22   23.607

我希望使用dfA的每一行中的ChrPos的值来顺序子集表单的第二个data.framedfB

Chr Pos Watson  Crick
1   1   5       0
1   2   5       0
1   4   1       0
1   6   1       0
1   7   1       0
1   8   2       0
1   9   2       0
1   12  1       0
1   14  1       0
1   15  2       0
1   22  1       0

dfB大约有400万行。

每次我子集dfB,我都希望根据Pos中的范围检索感兴趣区域的值(即,/-1000dfAPos的值),并将它们添加到第三个数据中。帧dfC,最初以零作为前缀。

我通过循环遍历dfA的每一行来实现这一点。但由于65000行,这需要几个小时。因此,我的问题是:

>

  • 有更好/更有效的方法吗?

    我的代码中的哪一部分会让这一切变得如此缓慢?"

    我的代码:

    temp=NULL
    width=300 # Region upstream and downstream of centrepoint #
    padding=50 # Add some padding area to table #
    width1=width+padding
    dfC=data.frame(NULL)
    dfC[1:((width1*2)+1),"Pos"]=(1:((width1*2)+1)) # Create Pos column #
    
    # Prefill dfC table with zeros #
    dfC[1:((width1*2)+1),"Watson"]=0
    dfC[1:((width1*2)+1),"Crick"]=0
    
    for (chrom in 1:16) { # LOOP1. Specify which chromosomes to process #
    
      dfB.1=subset(dfB,Chr==chrom) # Make temp copy of the dataframes for each chromosome #
      dfA.1=subset(dfA, Chr==chrom)
    
    for (i in 1:nrow(dfA.1)) { # LOOP2: For each row in dfA:
    
      temp=subset(dfB.1, Pos>=(dfA.1[i,"Pos"]-width1) & Pos<=(dfA.1[i,"Pos"]+width1)) # Create temp matrix with hits in this region
      temp$Pos=temp$Pos-dfA.1[i,"Pos"]+width1+1
      dfC[temp$Pos,"Watson"]=dfC[temp$Pos,"Watson"]+temp[,"Watson"]
      dfC[temp$Pos,"Crick"]=dfC[temp$Pos,"Crick"]+temp[,"Crick"]
    
    } # End of LOOP2 #
    } # End of LOOP1 #
    

    示例输出为以下形式-其中Pos包含1到2000的值(表示dfA中每个中心Pos位置两侧的-1000到1000区域),Watson/Crick列包含每个位置的命中总和。

    Pos Watson  Crick
    1   15      34
    2   35      32
    3   11      26
    4   19      52
    5   10      23
    6   32      17
    7   21      6
    8   15      38
    9   17      68
    10  28      54
    11  27      35
    etc
    

  • 共1个答案

    匿名用户

    我只是清理了你的代码,所以不要期望有很大的改进,但我认为这个版本可能会运行得稍微快一点。

    width <- 300
    padding <- 50
    width1 <- width + padding    
    dfC <- data.frame(Pos=1:((width1*2)+1), Watson=0, Crick=0)
    for (chrom in 1:16) {
        dfB1 <- subset(dfB, Chr == chrom)
        for (pos in dfA$Pos[dfA$Chr == chrom]) {
            dfB2 <- dfB1[(dfB1$Pos >= pos - width1) & (dfB1$Pos <= pos + width1), ]
            rows <- dfB2$Pos - pos + width1 + 1
            dfC$Watson[rows] <- dfC$Watson[rows] + dfB2$Watson
            dfC$Crick[rows] <- dfC$Crick[rows] + dfB2$Crick
        }
    }