Início / coding / Perguntas / 77752326
Accepted
EmmaV97
Asked: 2024-01-03 21:47:39 +0800 CST

Como comparar listas aninhadas em dataframe por linha em R?

  • 772

Tenho um conjunto de dados que contém listas de valores em duas colunas e quero poder comparar as listas entre si, para cada linha. Por exemplo, tenho 3 grupos, nos quais se espera certos números e se observam outros números. Quero comparar a coluna Observado com a coluna Esperado para ver quais números eram esperados, mas não observados.

Grupo Esperado Observado
A 4:8 c(4, 5, 7)
B 7:12 c(7, 8, 9, 10, 12)
C 6:10 c(6, 8, 10)

Quero uma coluna extra chamada Missing, que contenha todos os valores que estão em Expected, mas não em Observed.

Grupo Esperado Observado Ausente
A 4:8 c(4, 5, 7) c(6, 8)
B 7:12 c(7, 8, 9, 10, 12) 11
C 6:11 c(6, 8, 11) c(7, 9, 10)

Tentei usar setdiff() e base R, pois ele pode encontrar valores diferentes entre duas listas. No entanto, não consigo fazê-lo funcionar da maneira que compara as listas por linha.

df$Missing <- setdiff(df$Expected, df$Observed) 

df$Missing <- df$Expected[!(df$Expected %in% df$Observed)]

Ambas as opções resultam na lista completa de Esperados. Esta é a saída que recebo:

Grupo Esperado Observado Ausente
A 4:8 c(4, 5, 7) 4:8
B 7:12 c(7, 8, 9, 10, 12) 7:12
C 6:11 c(6, 8, 11) 6:11

Existe alguma maneira de comparar as duas listas (Observado x Esperado) por grupo, para ver quais valores estão faltando por grupo? Obrigado desde já por qualquer ajuda!

3 respostas

  1. Best Answer

    Como você tem listas, use Mapcom setdiff-

    df$Missing <- Map(setdiff, df$Expected, df$Observed)
df

#  Group            Expected        Observed Missing
#1     A       4, 5, 6, 7, 8         4, 5, 7    6, 8
#2     B 7, 8, 9, 10, 11, 12 7, 8, 9, 10, 12      11
#3     C      6, 7, 8, 9, 10        6, 8, 10    7, 9

    dados

    É mais fácil ajudar se você fornecer dados em formato reproduzível .

    df <- structure(list(Group = c("A", "B", "C"), Expected = list(4:8, 
    7:12, 6:10), Observed = list(c(4, 5, 7), c(7, 8, 9, 10, 12
), c(6, 8, 10))), row.names = c(NA, -3L), class = "data.frame")
    • 4

  2. Com uma data.tableanti-junção:

    library(data.table)

dt[
  dt[,.(x = unlist(Expected)), Group][
    !dt[,.(x = unlist(Observed)), Group], on = .(Group, x)
  ][, .(x = .(x)), Group], on = "Group", Missing := x
][]
#>    Group          Expected       Observed  Missing
#> 1:     A         4,5,6,7,8          4,5,7      6,8
#> 2:     B  7, 8, 9,10,11,12  7, 8, 9,10,12       11
#> 3:     C  6, 7, 8, 9,10,11        6, 8,10  7, 9,11

    Com data.tableoperações de agrupamento:

    library(collapse) # for %!in%

dt[,Missing := .(.(Expected[[1]][Expected %!in% Observed])), Group][]
#>    Group          Expected       Observed  Missing
#> 1:     A         4,5,6,7,8          4,5,7      6,8
#> 2:     B  7, 8, 9,10,11,12  7, 8, 9,10,12       11
#> 3:     C  6, 7, 8, 9,10,11        6, 8,10  7, 9,11
dt[
  ,.(
    Expected = Expected,
    Observed = Observed,
    Missing = .(setdiff(Expected[[1]], Observed[[1]]))
  ), Group
][]
#>    Group          Expected       Observed  Missing
#> 1:     A         4,5,6,7,8          4,5,7      6,8
#> 2:     B  7, 8, 9,10,11,12  7, 8, 9,10,12       11
#> 3:     C  6, 7, 8, 9,10,11        6, 8,10  7, 9,11

    Dados:

    dt <- data.table(
  Group = LETTERS[1:3],
  Expected = list(4:8, 7:12, 6:11),
  Observed = list((4:7)[-3], (7:12)[-5], c(6L, 8L, 10L))
)

    Benchmarking em um conjunto de dados maior:

    dt <- data.table(
  Group = 1:1e4,
  Expected = lapply(sample(10, 1e4, 1), seq, 20)
)[, Observed := lapply(Expected, \(x) sample(x, sample(length(x), 1)))]

bench::mark(
  Map = {dt$Missing <- Map(setdiff, dt$Expected, dt$Observed); dt},
  setdiff = dt[,.(Expected = Expected, Observed = Observed, Missing = .(setdiff(Expected[[1]], Observed[[1]]))), Group],
  `%!in%` = dt[,Missing := .(.(Expected[[1]][Expected %!in% Observed])), Group],
  antiJoin = dt[
    dt[,.(x = unlist(Expected)), Group][
      !dt[,.(x = unlist(Observed)), Group], on = .(Group, x)
    ][, .(x = .(x)), Group], on = "Group", Missing := x
  ]
)

#> # A tibble: 4 × 6
#>   expression      min   median `itr/sec` mem_alloc `gc/sec`
#>   <bch:expr> <bch:tm> <bch:tm>     <dbl> <bch:byt>    <dbl>
#> 1 Map          82.4ms   88.9ms      9.81     1.7MB     25.5
#> 2 setdiff     106.8ms  111.7ms      8.84    1.98MB     15.9
#> 3 %!in%        30.6ms   33.7ms     28.9   149.84KB     15.4
#> 4 antiJoin     53.8ms     58ms     16.8    12.04MB     14.9

    Parece que %!in%é o vencedor até agora.

    • 3

  3. Inspirado por @RonakShah, com tidyverseabordagem

    df %>% 
  dplyr::mutate(Missing = purrr::map2(Expected, Observed, setdiff))

  Group            Expected        Observed Missing
1     A       4, 5, 6, 7, 8         4, 5, 7    6, 8
2     B 7, 8, 9, 10, 11, 12 7, 8, 9, 10, 12      11
3     C      6, 7, 8, 9, 10        6, 8, 10    7, 9
    • 1

relate perguntas