主页 / coding / 问题 / 76926879
Accepted
Sudipto Das
Asked: 2023-08-18 14:22:33 +0800 CST

Spark Scala 将多列合并为单列

  • 772

我希望在 Spark scala 中将 2 个单独的行合并为一行。我尝试过分组机制，但没有成功。

输入：

col1       col2  col3   col4    col5
2023-02-27  LHR  SFO    931 
2023-02-27  LHR  SFO             977

预期输出：

col1        col2    col3    col4    col5
2023-02-27  LHR     SFO      931    977
scala

1 个回答

  1. Best Answer

    我不确定您正在寻找的逻辑。然而，这个想法似乎是按一定数量的列进行分组，并聚合其他列，忽略空值。

    这可以这样做：

    val df = Seq(
    ("2023-02-27", "LHR", "SFO", Some("931"), None ),
    ("2023-02-27", "LHR", "SFO", None, Some("977"))
).toDF("col1", "col2", "col3", "col4", "col5")

df.groupBy("col1", "col2", "col3")
  .agg(first('col4, ignoreNulls=true) as "col4",
       first('col5, ignoreNulls=true) as "col5"
  ).show()

    +----------+----+----+----+----+                                                
|      col1|col2|col3|col4|col5|
+----------+----+----+----+----+
|2023-02-27| LHR| SFO| 931| 977|
+----------+----+----+----+----+
    • 1

相关问题