Início / coding / Perguntas / 79584270
Accepted
denis
Asked: 2025-04-21 16:26:43 +0800 CST

De muitos RData dentro de diferentes subpastas, liste apenas data.frames, selecione algumas colunas, então rbind todos eles e desliste

  • 772

Pesquisei bastante, mas não consegui encontrar uma solução que atenda a todos esses objetivos de uma só vez:

  • Tenho centenas de arquivos RData localizados em diferentes subpastas.
  • Em cada um desses arquivos RData, tenho um único objeto data.frame e outros objetos de caracteres. O objeto data.frame sempre tem 48 colunas, mas o número de linhas pode variar (várias centenas de milhares).

Gostaria de poder importar apenas os data.frames para uma lista (ou seja, sem os outros objetos de caracteres nem os outros formatos), selecionando apenas as colunas 3, 4, 5 e 6, e então vinculá-los a um novo objeto único no ambiente (ou seja, não mais em uma lista).
Pergunta opcional: dado o grande número e tamanho dos data.frames, não seria melhor convertê-los em data.tables primeiro?

Obrigado pela ajuda.

Desculpe, mas dada a complexidade do caso, não vejo como fornecer um exemplo concreto para testar.

2 respostas

  1. Best Answer

    Assumindo

    • ( 1 ) você tem um vetor de caracteres de nomes de caminhos completos,
    paths = list.files('<path_to_top_level_folder>', pattern=".RData$", recursive=TRUE, full.names=TRUE)
    • ( 2 ) há um único data.frameem cada .RDataarquivo, e
    • ( 3 ) colunas 3:6existem em cada,

    você pode querer começar a desenvolver algo robusto a partir de

    ## for explicity:
# result = 
lapply(paths, \(i) {
  load(i,  i<-new.env())
  d = get(Filter(\(x) is.data.frame(get(x, envir=i)), ls(i)), i)
  d[3:6]
}) |> data.table::rbindlist() # |> do.call(what='rbind') 

    ## streamlined: 
# result = 
lapply(paths, \(i) { 
  load(i)
  get(Filter(\(x) is.data.frame(get(x)), ls()))[3:6] 
}) |> data.table::rbindlist()

    Se o nome data.framefor sempre o mesmo, isso pode ser feito de forma ainda mais concisa. A subdivisão por nomes de colunas é menos propensa a erros, mas exige que todos os quadros de dados tenham os mesmos nomes de coluna (sem erros de digitação).

    Observação

    data.table::rbindlist()lida com data.frameobjetos muito bem e é bem rápido.

    > class(mtcars[3:6])
[1] "data.frame"
> dim(mtcars[3:6])
[1] 32  4
> list(mtcars[3:6], mtcars[3:6] * 2) |> data.table::rbindlist() |> dim()
[1] 64  4
    • 2

  2. Uma maneira é colocar loados arquivos .RData em um ambiente temporário para não sobrescrever nada.

    set.seed(1)
data1 <- data.frame(matrix(sample(48*100), ncol=48))
data2 <- data.frame(matrix(sample(48*200), ncol=48))
x <- y <- z <- "xyz"
save(data1, x, y, z, file="data1.RData")
save(data2, x, y, z, file="data2.RData")

    Data <- dplyr::bind_rows(
  lapply(list.files(pattern=".RData"), 
         \(x) {
           e <- new.env()
           load(x, envir=e) 
           rm(list=ls(envir=e, sorted = FALSE)[
             !sapply(e, is.data.frame)], 
             envir=e)
           get(ls(e), envir=e)[,3:6]
         }
  ))

    head(Data)
    X3   X4   X5   X6
1 3309  572 3154 1957
2 3718 4167 1173  184
3 4040  680  853 4057
4  811 1122 2717 1010
5 2501 1983 1169 3932
6 1512 2394 4352 4373
    • 2

relate perguntas