主页 / coding / 问题 / 79439502
Accepted
Jim Macaulay
Asked: 2025-02-14 21:19:30 +0800 CST

从 PySpark 中的数据框中提取特定的字典值

  • 772

我有以下数据框

dataDictionary = [('value1', [{'key': 'Fruit', 'value': 'Apple'}, {'key': 'Colour', 'value': 'White'}]), 
                 ('value2', [{'key': 'Fruit', 'value': 'Mango'}, {'key': 'Bird', 'value': 'Eagle'}, {'key': 'Colour', 'value': 'Black'}])] 

df = spark.createDataFrame(data=dataDictionary)
df.printSchema()
df.show(truncate=False)

+------+------------------------------------------------------------------------------------------------+
|_1    |_2                                                                                              |
+------+------------------------------------------------------------------------------------------------+
|value1|[{value -> Apple, key -> Fruit}, {value -> White, key -> Colour}]                               |
|value2|[{value -> Mango, key -> Fruit}, {value -> Eagle, key -> Bird}, {value -> Black, key -> Colour}]|
+------+------------------------------------------------------------------------------------------------+

我只想提取key -> Colour的值。结果应该是，

White
Black

我尝试了使用regexp_extract_all以及使用instr的子字符串的多个选项，结果始终为空值。任何建议都将不胜感激。

result = spark.sql("""select
                    regexp_extract('_2', '''key': 'Colour' + '(\\w+)') as value
                    from table 
                    """)
dictionary

1 个回答

  1. Best Answer

    优先使用pyspark内置函数，性能和便捷性有保证。

    首先使用filter函数获取键为Colour_2列（数组类型）的map，然后取其第一个（索引0）元素value，最后获取键为该map中的值。

    from pyspark.sql import SparkSession, functions as F

...
df = df.select('_1', F.filter('_2', lambda x: x['key'] == 'Colour')[0]['value'])
    • 1

相关问题