Início / coding / Perguntas / 77221749
Accepted
Rana
Asked: 2023-10-03 19:13:26 +0800 CST

Como mudar o valor da coluna para a esquerda no Spark SQL?

  • 772

Eu tenho a seguinte tabela

Equipe Equipe_Categoria Pontuação1 Pontuação2 Pontuação3 Pontuação4 Pontuação 5 Pontuação 6 Pontuação7 Pontuação8
A41 Bicicletas 40 91 51
A57 Bicicletas 60 47

Quero deslocar os valores para a esquerda se uma pontuação anterior for NULLou ""
A saída necessária for:

Equipe Equipe_Categoria Pontuação1 Pontuação2 Pontuação3 Pontuação4 Pontuação 5 Pontuação 6 Pontuação7 Pontuação8
A41 Bicicletas 40 91 51
A57 Bicicletas 60 47

Eu tentei usar coalescelike

spark.sql("""SELECT Team, Team_Category, COALESCE(NULLIF(Score1,""),NULLIF(Score2,""),...NULLIF(Score8,"")) AS Score1, COALESCE(NULLIF(Score2,""),NULLIF(Score3,"")...NULLIF(Score8,"")) AS Score2,...""")

mas isso resolveria apenas metade do problema. Mesmo que os valores sejam agora movidos para a esquerda, os valores à direita ainda estarão lá.

Como isso pode ser feito usando spark sql?

Observação: uma equipe pode ter diversas linhas, mas elas são independentes umas das outras.

pyspark

1 respostas

  1. Best Answer

    Crie uma matriz a partir das Scorecolunas e use-a array_compactpara remover nulos, finalmente, com base na nova posição de cada elemento na matriz, reatribua as colunas de pontuação de volta ao dataframe

    cols = [c for c in df.columns if c.startswith('Score')]

arr = F.array_compact(F.array(*cols))
df1 = df.select('Team', 'Team_Category', *[arr[i].alias(c) for i, c in enumerate(cols)])

    +----+-------------+------+------+------+------+------+------+------+------+
|Team|Team_Category|Score1|Score2|Score3|Score4|Score5|Score6|Score7|Score8|
+----+-------------+------+------+------+------+------+------+------+------+
| A41|        Bikes|    40|    91|    51|  null|  null|  null|  null|  null|
| A57|     Bicycles|    60|    47|  null|  null|  null|  null|  null|  null|
+----+-------------+------+------+------+------+------+------+------+------+

    Nota: array_compactsó está disponível a partir do spark 3.4.0 se você estiver usando uma versão antiga, então podemos usar filter:arr = F.filter(F.array(*cols), lambda x: x.isNotNull())

    • 2

relate perguntas