主页 / coding / 问题 / 78931529
Accepted
lzill
Asked: 2024-08-30 18:28:46 +0800 CST

极坐标中的条件重复数据删除

  • 772

我有一个数据集，想从中删除重复的条目。我使用的 lazyframe 结构如下：

df = pl.from_repr("""
┌──────┬────────────┬──────────────────┬───────┐
│ id   ┆ title      ┆ type             ┆ type2 │
│ ---  ┆ ---        ┆ ---              ┆ ---   │
│ i64  ┆ str        ┆ str              ┆ i64   │
╞══════╪════════════╪══════════════════╪═══════╡
│ 1001 ┆ Research A ┆ journal article  ┆ 35    │
│ 1002 ┆ Research B ┆ book chapter     ┆ 41    │
│ 1003 ┆ Research C ┆ journal article  ┆ 35    │
│ 1004 ┆ Research D ┆ conference paper ┆ 42    │
│ 1001 ┆ Research E ┆ journal article  ┆ 35    │
│ 1002 ┆ Research F ┆ journal article  ┆ 41    │
│ 1003 ┆ Research G ┆                  ┆ 41    │
│ 1002 ┆ Research I ┆ book chapter     ┆ 41    │
│ 1003 ┆ Research J ┆ journal article  ┆ 35    │
└──────┴────────────┴──────────────────┴───────┘
""")

我想删除具有相同的条目id，但实际上存在不同的情况：

  1. 重复项具有相同的内容type（例如 1001）：保留第一个。
  2. 重复项具有不同的type：丢弃以空字符串（“”）作为类型的重复项，然后仅保留符合以下type和对的条目type2：
dict_df = pl.DataFrame({
    "type": ['journal article', 'book chapter', 'book chapter'],
    "type2": [35, 41, 42]
})

预期输出

id[i64] 标题[字符串] 类型[str] 类型2[i64]
1001 研究A 期刊文章 三十五
1002 研究B 书章节 41
1003 研究C 期刊文章 三十五
1004 研究方向 会议论文 四十二
  • 1001：相同类型，保留第一个
  • 1002：不同类型，保留第一次出现的带有 {'book chapter': 41} 的条目
  • 1003：不同类型，丢弃类型为空的条目并保留第一个匹配项
  • 1004：不是重复的

我尝试了很多方法，主要是使用 pl.when() 表达式，但我无法找到过滤组的方法。

(
    df
    .sort('type', descending=True)
    .group_by("id")
    .agg([
        pl.when(pl.col("type").n_unique() > 1)
        .then( ... )
        .otherwise(pl.all().first())
    ])
)
python

2 个回答

  1. Best Answer
    1. 创建一个偏好表，表明您对每个组合的期望程度：
    preference = pl.DataFrame({
    "type": ["journal article", "book chapter", "book chapter"],
    "iris_type": [35, 41, 42],
    "preference": [0, 1, 2]
})
    1. 将偏好表与您的数据表连接起来：
    joined = df.lazy().join(preference.lazy(), on=["type", "iris_type"], how="left")
    1. 根据偏好对连接表进行排序，选择每个组中的第一个并删除偏好列：
    out = (
    joined.sort("preference", descending=True, nulls_last=True)
        .group_by("id")
        .first()
        .drop("preference")
        .collect()
)
    • 3

  2. 您也许可以在GroupBy上下文中应用您的逻辑，但您也可以先预先过滤 DataFrame，这样您就只拥有您想要保留的行：

    (
    df
    .join(dict_df.with_row_index(), on=["type","type2"], how="left")
    .filter(
        (pl.col.type.n_unique().over("id") == 1) |
        ((pl.col.type != "") & (pl.col.index.is_not_null()))
    )
    .drop("index")
    .unique("id", keep="first", maintain_order=True)
    # alternatively,
    # .group_by("id").first()
)

┌──────┬────────────┬──────────────────┬───────┐
│ id   ┆ title      ┆ type             ┆ type2 │
│ ---  ┆ ---        ┆ ---              ┆ ---   │
│ i64  ┆ str        ┆ str              ┆ i64   │
╞══════╪════════════╪══════════════════╪═══════╡
│ 1001 ┆ Research A ┆ journal article  ┆ 35    │
│ 1003 ┆ Research C ┆ journal article  ┆ 35    │
│ 1004 ┆ Research D ┆ conference paper ┆ 42    │
│ 1002 ┆ Research F ┆ journal article  ┆ 35    │
└──────┴────────────┴──────────────────┴───────┘
    • 1

相关问题