主页 / coding / 问题 / 77270115
Accepted
ConfusedDeveloper
Asked: 2023-10-11 11:44:25 +0800 CST

在 SPARK SQL 中逆透视列组

  • 772

我有一个这样的表结构：

在此输入图像描述

使用 SparkSQL，我想将这些列逆透视为行以生成如下输出：

在此输入图像描述

到目前为止，有两个实现了这一点，我编写了两个查询，一个用于 A，一个用于 B，如下所示：

select ID, Rank, Criteria  from (
SELECT *
    FROM Temp_Test_Hardik
  UNPIVOT( Rank for Criteria IN (
    A1,
    A2,
    A3
  )))

和

select ID, Rank, Criteria  from (
SELECT *
    FROM Temp_Test_Hardik
  UNPIVOT( Rank for Criteria IN (
    B1,
    B2,
    B3
  )))

然后在这两个查询之间执行联接。

我想知道有没有更好的选择来实现这一目标？

apache-spark

2 个回答

  1. Best Answer

    有更好的方法。创建一个由 (A, B) 对组成的结构数组，然后使用inline该数组将数组分解为行和列

    SELECT 
    PK, 
    inline(array(
        struct(A1 AS A, B1 AS B), 
        struct(A2 AS A, B2 AS B), 
        struct(A3 AS A, B3 AS B)
    ))
FROM Temp_Test_Hardik
    • 1

  2. 请找到以下解决方案。

    SELECT
  PK,
  inline(
    array(
      named_struct(
        'Rank', 1, 
        'A', A1, 
        'B', B1
      ), 
      named_struct(
        'Rank', 2, 
        'A', A2, 
        'B', B2
      ), 
      named_struct(
        'Rank', 3, 
        'A', A3, 
        'B', B3
      )
    )
  )
FROM source

    +---+----+----+----+
|PK |Rank|A   |B   |
+---+----+----+----+
|1  |1   |A1-1|B1-1|
|1  |2   |A2-1|B2-1|
|1  |3   |A3-1|B3-1|
|2  |1   |A1-2|B1-2|
|2  |2   |A2-2|B2-2|
|2  |3   |A3-2|B3-2|
+---+----+----+----+
    • 0

相关问题