Início / coding / Perguntas / 77270115
Accepted
ConfusedDeveloper
Asked: 2023-10-11 11:44:25 +0800 CST

Grupo não dinâmico de colunas no SPARK SQL

  • 772

Eu tenho uma estrutura de tabela assim:

insira a descrição da imagem aqui

Usando SparkSQL, gostaria de transformar essas colunas em linhas para produzir uma saída como esta:

insira a descrição da imagem aqui

Até agora, dois conseguiram isso, escrevi duas consultas, uma para A e outra para B, conforme abaixo:

select ID, Rank, Criteria  from (
SELECT *
    FROM Temp_Test_Hardik
  UNPIVOT( Rank for Criteria IN (
    A1,
    A2,
    A3
  )))

E

select ID, Rank, Criteria  from (
SELECT *
    FROM Temp_Test_Hardik
  UNPIVOT( Rank for Criteria IN (
    B1,
    B2,
    B3
  )))

E então execute a junção entre essas duas consultas.

Gostaria de saber se existe alguma opção melhor para conseguir isso?

apache-spark

2 respostas

  1. Best Answer

    Existe uma maneira melhor. Crie uma matriz de estruturas de pares (A, B) e use-a inlinepara explodir a matriz em linhas e colunas

    SELECT 
    PK, 
    inline(array(
        struct(A1 AS A, B1 AS B), 
        struct(A2 AS A, B2 AS B), 
        struct(A3 AS A, B3 AS B)
    ))
FROM Temp_Test_Hardik
    • 1

  2. Encontre a solução abaixo.

    SELECT
  PK,
  inline(
    array(
      named_struct(
        'Rank', 1, 
        'A', A1, 
        'B', B1
      ), 
      named_struct(
        'Rank', 2, 
        'A', A2, 
        'B', B2
      ), 
      named_struct(
        'Rank', 3, 
        'A', A3, 
        'B', B3
      )
    )
  )
FROM source

    +---+----+----+----+
|PK |Rank|A   |B   |
+---+----+----+----+
|1  |1   |A1-1|B1-1|
|1  |2   |A2-1|B2-1|
|1  |3   |A3-1|B3-1|
|2  |1   |A1-2|B1-2|
|2  |2   |A2-2|B2-2|
|2  |3   |A3-2|B3-2|
+---+----+----+----+
    • 0

relate perguntas