主页 / coding / 问题 / 78426346
Accepted
C. Robinson
Asked: 2024-05-04 02:14:39 +0800 CST

如果存在特定值，如何删除重复项

  • 772

我的 SparkSQL 数据框如下所示：

+-----------+----------+----------+----------+
|a          |b         |c         |d         |
+-----------+----------+----------+----------+
|        123|       abc|         N|         2|
|        123|       abc|         N|         4|
|        123|       abc|         X|         3|
|        456|       def|         K|         1|
|        456|       def|         X|         4|
+-----------+----------+----------+----------+

我想根据键列删除重复项a，并且如果该键组合存在一行在 column 中具有值的值，则该重复项在 列 中b没有值。Nc Nc

预期输出：

+-----------+----------+----------+----------+
|a          |b         |c         |d         |
+-----------+----------+----------+----------+
|        123|       abc|         N|         2|
|        123|       abc|         N|         4|
|        456|       def|         K|         1|
|        456|       def|         X|         4|
+-----------+----------+----------+----------+

对于组合键a = 123，b = abc存在不止一行 where c = N。因此，我们要删除该组合键 where 的所有行c != N。

对于组合键a = 456，b = def不存在任何行c = N。因此我们不想删除任何行。

apache-spark

1 个回答

  1. Best Answer

    您可以通过以下步骤获得所需的结果：

    派斯帕克

    from pyspark.sql.functions import *

df = # Read data
# Get a, b group where N is present
df_N = df.filter(col('c') == 'N').groupBy('a', 'b').agg(count('c').alias('count_N'))

# Join with original dataframe and apply required filter
df_out = df.join(df_N, on=['a', 'b'], how='left') \
             .filter((col('count_N').isNull()) | (col('c') == 'N')) \
             .drop('count_N')

df_out.show()

+---+---+---+---+
|  a|  b|  c|  d|
+---+---+---+---+
|123|abc|  N|  2|
|123|abc|  N|  4|
|456|def|  K|  1|
|456|def|  X|  4|
+---+---+---+---+

    Spark-SQL

    spark.sql("""
    SELECT *
    FROM <table_name>
    WHERE (a, b) NOT IN (
        SELECT a, b
        FROM<table_name>
        WHERE c = 'N'
        GROUP BY a, b
        HAVING COUNT(*) > 0
    )
    OR c = 'N'
""")
    • 1

相关问题