主页 / coding / 问题 / 79490755
Accepted
Rakesh Kushwaha
Asked: 2025-03-07 05:30:07 +0800 CST

在 pyspark 中将 json 列更改为 maptype

  • 772

我无法理解为什么在使用 StructType() 和 MapType() 更改以下代码中的 json 列时获取 null

data = [(1, '''{"a": '1'}''')]
df = spark.createDataFrame(data, ("key", "value"))
df.show()
print()
#below lien changes the data of value column to maptype
df1=df.withColumn('data',from_json(df.value,MapType(StringType(),StringType())))
df1.show()
#below line does not changes the data of value column into maptpe
schema = StructType([StructField("a", MapType(StringType(),StringType()))])
df2=df.withColumn('data',from_json(df.value, schema))
df2.show()
# df.withColumn('data',from_json(df.value,MapType(StringType(),StringType()))) produces output
+---+----------+--------+
|key|     value|    data|
+---+----------+--------+
|  1|{"a": '1'}|{a -> 1}|
+---+----------+--------+
#df2=df.withColumn('data',from_json(df.value, schema)) produces output
+---+----------+------+
|key|     value|  data|
+---+----------+------+
|  1|{"a": '1'}|{null}|
+---+----------+------+
pyspark

1 个回答

  1. Best Answer

    您的第一个改变是：

    df1 = df.withColumn("data", F.from_json(df.value, T.MapType(T.StringType(), T.StringType())))

    你的第二个改变是：

    df2 = df.withColumn("data", F.from_json(df.value, schema))

    虽然这些行看起来很相似，但模式却不同：

    • T.MapType(T.StringType(), T.StringType())
    • T.StructType([T.StructField("a", T.MapType(T.StringType(), T.StringType()))])

    第一个模式是一个简单的映射，而第二个模式是包含映射的结构。这种差异就是第二种方法无法按预期工作的原因。您的第二个模式将匹配如下 json 模式：

    {"a": {"b": "c"}}

    为了达到预期的结果，您应该使用：

    schema = T.StructType([T.StructField("a", T.StringType())])

    这将给你输出：

    +---+----------+----+
|key|     value|data|
+---+----------+----+
|  1|{"a": '1'}| {1}|
+---+----------+----+

    笔记

    我使用了以下导入：

    from pyspark.sql import functions as F, types as T
    • 1

相关问题