Entre muitas subpastas, encontre CSVs começando com uma determinada string e dentro de ZIPs ou não, e mescle-os enquanto adiciona seus nomes em uma nova coluna com R

O código a seguir, embora um pouco longo, funciona bem e rápido:

library(tidyverse)
library(data.table)

# paths
main_path <- "D:/DataLogs/" # target directory
zip_path <- "D:/DataLogs/Zip_files/" # subfolder where the zips will be unzipped

# specific string of csv file name
str_csv <- "QCLog"

# list csv
csv_nozip_list <- list.files(main_path, paste0(str_csv, ".*\\.csv"), recursive = TRUE, full.names = TRUE) # list of QCLog csv that ARE NOT within zip
zip_list <- list.files(main_path, "\\.zip", recursive = TRUE, full.names = TRUE) # list of all csv -including QCLog- that ARE within zip
unzip_files <- lapply(zip_list, unzip, exdir = zip_path) # unzip all CSV in the zip_path subfolder
csv_zip_list <- list.files(zip_path, paste0(str_csv, ".*\\.csv"), recursive = TRUE, full.names = TRUE) # list only QCLog that have been decompressed in zip_path

# read matching files while adding a new filename column
csv_nozip_read <- lapply(csv_nozip_list, function(x) {data.table(fread(x), "filename" = x)})
csv_zip_read <- lapply(csv_zip_list, function(x) {data.table(fread(x), "filename" = x)})

# rbind lists
csv_nozip_rbind <- data.table::rbindlist(csv_nozip_read)
csv_zip_rbind <- data.table::rbindlist(csv_zip_read)

# rbind selected csv
dat <- rbind(csv_nozip_rbind, csv_zip_rbind) |>
  distinct() |> # if needed
  relocate(filename)

Algo como o seguinte pode funcionar. Não testado.

# function to unzip the csv files 
# first get the csv filenames, then extract them to a temp directory
# return one data.frame only
read_csv_in_zip_file <- function(filename, tmpdir) {
  csv_files <- unzip(filename, list = TRUE)[["Name"]]
  i <- grep("QCLog.*\\.csv", csv_files)
  fls <- unzip(filename, files = csv_files[i], exdir = tmpdir)
  df_list <- lapply(fls, read.csv)
  res <- Map(\(x, f) {
    x$filename <- basename(f)
    x
  }, df_list, fls)
  res <- do.call(rbind, res)
  row.names(res) <- NULL
  res
}

# where to put the unziped files
tmp_dir <- tempdir()

path <- "D:/DataLogs"
pattern <- "QCLog.*\\.csv|\\.zip"
fls <- list.files(path = path, pattern = pattern, full.names = TRUE, recursive = TRUE)

df_list <- lapply(fls, \(f) {
  if(grep("\\.zip", f)) {
    read_csv_in_zip_file(f, tmp_dir)
  } else {
    res <- read.csv(f)
    res$filename <- f
    res
  }
})

# one data.frame only
df_all <- do.call(rbind, df_list)

# final clean up
unlink(tmp_dir, recursive = TRUE)
# rm(df_list)

Com base nas afirmações da questão, assumimos que cada arquivo csv

• tem um caminho de D:/datalogs/*/QCLog*.csvou
• está em um arquivo zip com o mesmo caminho, exceto por ter extensão .zip e os nomes dos arquivos também começam com QCLog

e que todos os arquivos csv têm as mesmas colunas e cabeçalhos. Se estes não forem satisfeitos, pode ou não funcionar. Se não, você pode modificar o código com base no que você realmente tem usando seu conhecimento do que você realmente tem ou pode editar os arquivos para colocá-los no formato declarado na pergunta.

Se isso funciona vai depender do que você realmente tem, mas sua heurística geralmente funciona e é curta. Se estiver ok ter os nomes das linhas identificando a fonte em vez de uma coluna separada, então podemos omitir as duas últimas linhas.

library(rio)
library(tools)

root <- "D:/datalogs/*"
csv_files <- Sys.glob(file.path(root, "QCLog*.csv"))
zip_files <- Sys.glob(file.path(root, "*.zip"))
L <- c(import_list(csv_files), import_list(zip_files))
L <- L[ grep("QCLog.*csv", names(L)) ]
dat <- do.call("rbind", L)

dat$id <- file_path_sans_ext(rownames(dat))
rownames(dat) <- NULL

Atualizar

Código adicionado para garantir que somente QCLog...csvarquivos sejam usados ​​em dat.