主页 / coding / 问题 / 79267025
Accepted
xsa xsa
Asked: 2024-12-10 12:38:32 +0800 CST

pyspark 数据框转换

  • 772

我有一个如下的数据框：

f1     |f2
=========
test   | [{"f3": 1, "f4": "f4_1" }, {"f3": 2, "f4": "f4_2" }]

f2是对象列表

我想要获得如下所示的数据框：

f3|f4    | temp_col
=========================
1 |"f4_1"| {"f1": "test"}
2 |"f4_2"| {"f1": "test"}

temp_col是我提供的名字。

我如何使用 pyspark 来实现这一点？

我曾尝试json_normalize通过转换为 pandas df 来使用，但没有效果。

apache-spark

2 个回答

  1. 您可以使用sc.parallelize来实现

    import pyspark
from pyspark.sql import SparkSession
from pyspark.sql import Row
from collections import OrderedDict

def convert_to_row(d: dict) -> Row:
    return Row(**OrderedDict(sorted(d.items())))

spark = SparkSession.builder.appName('examples.com').getOrCreate()
sc = spark.sparkContext

data = {
 "f1": "test",
 "f2":[{"f3": 1, "f4": "f4_1" }, {"f3": 2, "f4": "f4_2" }]
}

df = sc.parallelize([dict(x, **{"temp_col": {"f1": data["f1"]}}) for x in data["f2"]]).map(convert_to_row).toDF()

df.show()
    • 0
  2. Best Answer

    如果你已经将 json 加载到 spark df 中，可以采用以下方法：

    result_df = df.withColumn("f2", explode(df.f2)).select(
    "f2.f3",
    "f2.f4",
    struct(col("f1")).alias("temp_col"),
)

    输出：

    f3  f4  temp_col
1   f4_1    {"f1":"test"}
2   f4_2    {"f1":"test"}
    • 0

相关问题