Início / coding / Perguntas / 78549510
Accepted
Capacytron
Asked: 2024-05-29 20:21:40 +0800 CST

É possível usar a API Spark Dataframe/Dataset com acumuladores?

  • 772

Eu leio e filtro dados, preciso contar como cada operação de filtro afeta o resultado. É possível misturar de alguma forma acumuladores de faísca ao usar a API Dataframe/Dataset?

Código de amostra:

sparkSession.read
  .format("org.apache.spark.sql.delta.sources.DeltaDataSource")
  .load(path)
  // use spark accumulator to count records that passed filter 
  .where(col("ds") >= dateFromInclusive and col("ds") < dateToExclusive)
  // same here
  .where(col("origin").isin(origins)
dataframe

1 respostas

  1. Best Answer

    Você pode usar count_if para contar vários filtros (e obter as contagens de uma só vez), mas não pode filtrar linhas simultaneamente com eles conforme seu exemplo de código.

    exemplo da documentação da função SQL :

    > SELECT count_if(col % 2 = 0) FROM VALUES (NULL), (0), (1), (2), (3) AS tab(col);
 2
> SELECT count_if(col IS NULL) FROM VALUES (NULL), (0), (1), (2), (3) AS tab(col);
 1
    • 1

relate perguntas