Início / coding / Perguntas / 76926879
Accepted
Sudipto Das
Asked: 2023-08-18 14:22:33 +0800 CST

Spark Scala mesclando várias colunas em uma única coluna

  • 772

Estou procurando mesclar 2 linhas separadas em uma no Spark scala. Eu tentei agrupar por mecanismos, mas não está funcionando.

Entrada:

col1       col2  col3   col4    col5
2023-02-27  LHR  SFO    931 
2023-02-27  LHR  SFO             977

Saída esperada:

col1        col2    col3    col4    col5
2023-02-27  LHR     SFO      931    977
scala

1 respostas

  1. Best Answer

    Não tenho certeza sobre a lógica que você está procurando. No entanto, a ideia parece agrupar por um determinado número de colunas e agregar as demais ignorando valores nulos.

    Isso poderia ser feito assim:

    val df = Seq(
    ("2023-02-27", "LHR", "SFO", Some("931"), None ),
    ("2023-02-27", "LHR", "SFO", None, Some("977"))
).toDF("col1", "col2", "col3", "col4", "col5")

df.groupBy("col1", "col2", "col3")
  .agg(first('col4, ignoreNulls=true) as "col4",
       first('col5, ignoreNulls=true) as "col5"
  ).show()

    +----------+----+----+----+----+                                                
|      col1|col2|col3|col4|col5|
+----------+----+----+----+----+
|2023-02-27| LHR| SFO| 931| 977|
+----------+----+----+----+----+
    • 1

relate perguntas