主页 / user-16611809

gernophil's questions

Martin Hope
gernophil
Asked: 2024-11-04 22:01:34 +0800 CST
  • 7

您可能已经从我的其他问题中意识到，我现在正在从 pandas 过渡到 polars。我有一个 polars df，其中包含不同的嵌套列表，如下所示：

┌────────────────────────────────────┬────────────────────────────────────┬─────────────────┬──────┐
│ col1                               ┆ col2                               ┆ col3            ┆ col4 │
│ ---                                ┆ ---                                ┆ ---             ┆ ---  │
│ list[list[str]]                    ┆ list[list[str]]                    ┆ list[str]       ┆ str  │
╞════════════════════════════════════╪════════════════════════════════════╪═════════════════╪══════╡
│ [["a", "a"], ["b", "b"], ["c", "c"]┆ [["a", "a"], ["b", "b"], ["c", "c"]┆ ["A", "B", "C"] ┆ 1    │
│ [["a", "a"]]                       ┆ [["a", "a"]]                       ┆ ["A"]           ┆ 2    │
│ [["b", "b"], ["c", "c"]]           ┆ [["b", "b"], ["c", "c"]]           ┆ ["B", "C"]      ┆ 3    │
└────────────────────────────────────┴────────────────────────────────────┴─────────────────┴──────┘

现在我想使用不同的分隔符将列表内外连接起来以达到此目的：

┌─────────────┬─────────────┬───────┬──────┐
│ col1        ┆ col2        ┆ col3  ┆ col4 │
│ ---         ┆ ---         ┆ ---   ┆ ---  │
│ str         ┆ str         ┆ str   ┆ str  │
╞═════════════╪═════════════╪═══════╪══════╡
│ a+a-b+b-c+c ┆ a+a-b+b-c+c ┆ A-B-C ┆ 1    │
│ a+a         ┆ a+a         ┆ A     ┆ 2    │
│ b+b-c+c     ┆ b+b-c+c     ┆ B-C   ┆ 3    │
└─────────────┴─────────────┴───────┴──────┘

我通过使用map_elementsfor 循环来实现这一点，但我认为这是非常低效的。有没有一种 polars 原生方法来管理这个？

这是我的代码：

import polars as pl

df = pl.DataFrame({"col1": [[["a", "a"], ["b", "b"], ["c", "c"]], [["a", "a"]], [["b", "b"], ["c", "c"]]],
                   "col2": [[["a", "a"], ["b", "b"], ["c", "c"]], [["a", "a"]], [["b", "b"], ["c", "c"]]],
                   "col3": [["A", "B", "C"], ["A"], ["B", "C"]],
                   "col4": ["1", "2", "3"]})

nested_list_cols = ["col1", "col2"]
list_cols = ["col3"]

for col in nested_list_cols:
    df = df.with_columns(pl.lit(df[col].map_elements(lambda listed: ['+'.join(element) for element in listed], return_dtype=pl.List(pl.String))).alias(col)) # is the return_dtype always pl.List(pl.String)?
for col in list_cols + nested_list_cols:
    df = df.with_columns(pl.lit(df[col].list.join(separator='-')).alias(col))
python
Martin Hope
gernophil
Asked: 2024-11-01 21:53:47 +0800 CST
  • 8

我有这些数据：

┌────────────┬─────────────────────────────────────┐
│ col1       ┆ col2                                │
│ ---        ┆ ---                                 │
│ list[str]  ┆ list[list[str]]                     │
╞════════════╪═════════════════════════════════════╡
│ ["a"]      ┆ [["a"]]                             │
│ ["b", "c"] ┆ [["b", "c"], ["b", "c"], ["b", "c"] │
│ ["d"]      ┆ [["d"]]                             │
└────────────┴─────────────────────────────────────┘

我希望第 2 行中同一列表中包含所有 b 和所有 c，但如您所见，第 2 行中未维护 b 到 b 和 c 到 c 的关联。对于 pandas，我使用了：

import pandas as pd

pddf = pd.DataFrame({"col1": [["a"], ["b", "c"], ["d"]],
                     "col2": [[["a"]], [["b", "c"], ["b", "c"], ["b", "c"]], [["d"]]]})

pddf["col2"] = pddf["col2"].apply(lambda listed: pd.DataFrame(listed).transpose().values.tolist())

print(pddf)

#      col1                    col2
# 0     [a]                   [[a]]
# 1  [b, c]  [[b, b, b], [c, c, c]]
# 2     [d]                   [[d]]

这是期望的结果。我试图用 替换 polars 来实现同样的效果pddf.transpose().values.tolist()，pldf.transpose().to_numpy().tolist()但总是得到 和TypeError: not yet implemented: Nested object types。有什么解决方法吗？以下是完整的 polars 代码：

import polars as pl

pldf = pl.DataFrame({"col1": [["a"], ["b", "c"], ["d"]],
                     "col2": [[["a"]], [["b", "c"], ["b", "c"], ["b", "c"]], [["d"]]]})

pldf = pldf.with_columns(pl.col("col2").map_elements(lambda listed: pl.DataFrame(listed).transpose().to_numpy().tolist()))

print(pldf)

# TypeError: not yet implemented: Nested object types
# Hint: Try setting `strict=False` to allow passing data with mixed types.

我需要在哪里应用上述内容strict=False？

在更简单的 df 上pddf.transpose().values.tolist()并且pldf.transpose().to_numpy().tolist()是相同的：

import pandas as pd
import polars as pl

pd.DataFrame(
    {"col1": ["a", "b", "c"],
     "col2": ["d", "e", "f"]}
     ).transpose().values.tolist() == pl.DataFrame(
                                          {"col1": ["a", "b", "c"],
                                           "col2": ["d", "e", "f"]}
                                           ).transpose().to_numpy().tolist()

# True

请尽可能接近代码，即使使用.apply()或并不理想.map_elements()，但这是一个更大的项目，我不想破坏任何其他东西:)。

(编辑：我稍微简化了代码，因为第二个 lambda 对于这个问题来说并不是真正必要的。)

python
Martin Hope
gernophil
Asked: 2024-10-30 01:45:42 +0800 CST
  • 8

我有一个 pandas 数据框，其中的值有时会变为 NA。我想用与另一列长度相同的字符串列表填充此列：

import pandas as pd
import numpy as np

df = pd.DataFrame({"a": ["one", "two"],
                   "b": ["three", "four"],
                   "c": [[1, 2], [3, 4]],
                   "d": [[5, 6], np.nan]})
一个 b 丙 d
一 三 [1, 2] [5, 6]
二 四 [3, 4] 钠

我希望这成为

一个 b 丙 d
一 三 [1, 2] [5, 6]
二 四 [3, 4] [无值，无值]

我试过

df["d"] = np.where(df.d.isna(),
                   ['no_value' for element in df.c],
                   df.d)

和

df["d"] = np.where(df.d.isna(),
                   ['no_value'] * len(df.c),
                   df.d)

但两者都不起作用。有人有主意吗？

解决方案：我稍微调整了 PaulS 的回答：

df[‘d‘] = np.where(df.d.isna(), 
                   pd.Series([['no_value'] * len(lst) for lst in df.c]), 
                   df.d))
python
Martin Hope
gernophil
Asked: 2023-11-10 22:23:13 +0800 CST
  • 6

嘿，我有一个由 44 列组成的 DataFrame。第一列是名称，所有其他列都是变量，可以为 yes/TRUE 或 no/FALSE。每个名称可以有多行，我想将一个名称和一个变量的所有条目合并到一个字段中，如下面的摘要示例所示。然而，对于 43 列，我不想手动执行此操作，因为我很懒，而且更容易出错。知道如何做到这一点吗？我还有一个列表，其中包含我要组合的所有列的名称：

library(tidyverse)

df <- tibble(name = c("A", "A", "A", "B", "C", "C"),
             variable_one = c(TRUE, FALSE, TRUE, FALSE, FALSE, FALSE),
             variable_two = c(FALSE, FALSE, FALSE, TRUE, FALSE, TRUE),
             variable_three = c(FALSE, TRUE, TRUE, FALSE, FALSE, TRUE)) |>
  group_by(name) |>
  summarise(
    variable_one = paste(variable_one, collapse = ","),
    variable_two = paste(variable_two, collapse = ","),
    variable_three = paste(variable_three, collapse = ","),
  )
Martin Hope
gernophil
Asked: 2023-09-18 00:19:16 +0800 CST
  • 4

我想卸载属于特定模块的所有子模块，因为它与另一个模块冲突。这就是我所做的：

mainmodule_submodules = [key for key in sys.modules if key.startswith('mainmodule')]
for mainmodule_submodule in mainmodule_submodules:
    del mainmodule_submodule # deletes the variable mainmodule_submodule instead of the submodule that's stored in it
    del sys.modules[mainmodule_submodule]

问题是，这会删除 for 循环创建的变量，mainmodule_submodule而不是存储 值的模块mainmodule_submodule。我该怎么做呢？

python