Início / coding / Perguntas / 76995118
Accepted
user3472
Asked: 2023-08-29 02:07:00 +0800 CST

pyspark divide uma coluna do tipo Array de comprimento variável em duas matrizes menores

  • 772

Se eu tiver um tipo Column of Array de comprimentos variáveis, como:

  [ [1,2,3,4,6] ] 
  [ [0,4,5,4,6,8,9,1] ]  
  [ [1,2,3,4,6,2,4,5,6] ]  
  ...

Como posso dividir isso de forma que o primeiro índice seja separado do restante, como:

  [ [1] ], [ [2,3,4,6] ] 
  [ [0] ], [ [4,5,4,6,8,9,1] ]  
  [ [1] ], [ [2,3,4,6,2,4,5,6] ]

Em python puro eu poderia fazer algo como:

  new_list = list[0]
  second_list = list[1:]
pyspark

1 respostas

  1. Best Answer

    No PySpark, você pode conseguir essa transformação usando expr()

    Código:-

    from pyspark.sql import SparkSession
from pyspark.sql.functions import col, expr
spark = SparkSession.builder.appName("ArraySplitting").getOrCreate()
data = [
    [[1, 2, 3, 4, 6]],
    [[0, 4, 5, 4, 6, 8, 9, 1]],
    [[1, 2, 3, 4, 6, 2, 4, 5, 6]]
]
columns = ["ArrayColumn"]
df = spark.createDataFrame(data, columns)
df_split = df.withColumn("FirstIndex", expr("ArrayColumn[0]"))
df_split = df_split.withColumn("RestArray", expr("slice(ArrayColumn, 2, size(ArrayColumn))"))
df_split.show()

    SAÍDA:-

    +--------------------+----------+--------------------+
|         ArrayColumn|FirstIndex|           RestArray|
+--------------------+----------+--------------------+
|     [1, 2, 3, 4, 6]|         1|        [2, 3, 4, 6]|
|[0, 4, 5, 4, 6, 8...|         0|[4, 5, 4, 6, 8, 9...|
|[1, 2, 3, 4, 6, 2...|         1|[2, 3, 4, 6, 2, 4...|
+--------------------+----------+--------------------+
    • 0

relate perguntas