主页 / coding / 问题

问题[pandas](coding)

Martin Hope
Tom Bennett
Asked: 2025-03-22 12:57:12 +0800 CST
  • 6

pandas DataFrame 的一个问题是它需要一些数据来创建其结构。因此，表示无行的情况可能会有问题。

例如，假设我有一个函数返回以字典形式表示的记录列表：get_data() -> list[dict[str, Any]]并且我想要一个函数返回相同数据的 DataFrame：

def get_dataframe() -> pd.DataFrame:
    l = get_data()
    df = pd.DataFrame(l)
    return df

这种方法效果很好，但 pandas 需要至少一条记录来推断列数和列类型的情况除外len(l)=0。在这种情况下返回 None 并不好，因为您可能需要在下游编写大量 if/else 语句来处理零记录情况。理想情况下，最好返回一个具有正确列数和列类型的空 DataFrame，这样我们就不必在下游代码中对无记录情况进行特殊处理。但这样做非常繁琐，因为：

  1. 在 中get_dataframe()，我需要指定列数和列类型来创建一个空的 DataFrame，但这些信息已经在其他地方指定了。两次指定相同的内容很繁琐。
  2. 因为我两次指定了相同的信息，它们可能不一致。所以我需要添加代码来检查一致性。
  3. 信不信由你，DataFrame 构造函数不接受 dtype 列表。有解决方法可以为每个列指定一个类型，但这不方便。

消除冗余的一个想法是，我不再将原始数据表示为字典列表，而是将其表示为数据类列表，这样我就可以注释每个字段的类型。然后我可以使用注释信息来创建列类型。这也不理想，因为类型注释是可选的，而且 Python 类型的映射dtype也不是一对一的。

请问没有数据的情况一般是怎么处理的？

pandas
Martin Hope
Ishigami
Asked: 2025-02-18 17:23:36 +0800 CST
  • 7

我有一个熊猫数据框，看起来像

data = {
'Date': ['2024-07-14','2024-07-14','2024-07-14','2024-07-14','2024-07-14','2024-03-14','2024-03-14','2024-03-14','2024-02-14','2024-02-10','2024-02-10','2024-02-10','2024-04-13','2024-04-13','2023-02-11','2023-02-11','2023-02-11','2011-10-11','2011-05-02','2011-05-02'],
'Test_Number': [5,4,3,2,1,3,2,1,4,3,2,1,2,1,3,2,1,1,2,1],
'Student_ID': [2,2,2,2,2,2,2,2,2,2,2,2,1,1,1,1,1,1,1,1],
'Place': [3,5,7,3,1,9,6,3,7,8,2,1,3,4,2,1,5,6,2,7]
}
df = pd.DataFrame(data)

我想使用以下方法创建三个新列“student_rec_1”、“student_rec_2”、“student_rec_3”：

对于每个 Student_ID，student_rec_1 等于该学生在最近的最后一次考试中的成绩，如果不存在则等于 np.nan。

类似地，student_rec_2 等于该学生在最近一次日期的倒数第二次考试中的成绩，如果不存在则等于 np.nan，

student_rec_3 等于该学生在最近日期的倒数第三次考试中的排名，如果不存在则等于 np.nan。因此，期望的结果如下

data_new = {
'Date': ['2024-07-14','2024-07-14','2024-07-14','2024-07-14','2024-07-14','2024-03-14','2024-03-14','2024-03-14','2024-02-14','2024-02-10','2024-02-10','2024-02-10','2024-04-13','2024-04-13','2023-02-11','2023-02-11','2023-02-11','2011-10-11','2011-05-02','2011-05-02'],
'Test_Number': [5,4,3,2,1,3,2,1,4,3,2,1,2,1,3,2,1,1,2,1],
'Student_ID': [2,2,2,2,2,2,2,2,2,2,2,2,1,1,1,1,1,1,1,1],
'Place': [3,5,7,3,1,9,6,3,7,8,2,1,3,4,2,1,5,6,2,7],
'student_rec_1': [9,9,9,9,9,7,7,7,8,np.nan,np.nan,np.nan,2,2,6,6,6,2,np.nan,np.nan],
'student_rec_2': [6,6,6,6,6,8,8,8,2,np.nan,np.nan,np.nan,1,1,2,2,2,7,np.nan,np.nan],
'student_rec_3': [3,3,3,3,3,2,2,2,1,np.nan,np.nan,np.nan,5,5,7,7,7,np.nan,np.nan,np.nan]
}
df_new = pd.DataFrame(data_new)

这就是我尝试过的：

df['日期'] = pd.to_datetime(df['日期'])

df = df.sort_values(['日期', '测试编号'], 升序=[False, False])

def get_last_n_records(group，n):返回group['Place'].shift(-n)

df['student_rec_1'] = df.groupby('学生ID').apply(get_last_n_records, 1).reset_index(level=0, drop=True) df['student_rec_2'] = df.groupby('学生ID').apply(get_last_n_records, 2).reset_index(level=0, drop=True) df['student_rec_3'] = df.groupby('学生ID').apply(get_last_n_records, 3).reset_index(level=0, drop=True)

但它只是改变了每个学生的位置，并没有考虑到“最后一天”的因素，而且无论如何都会改变位置。

pandas
Martin Hope
Whitebeard13
Asked: 2025-02-12 16:16:51 +0800 CST
  • 7

我想在现有的 pandas 数据框 ( df) 中创建三个新列，方法是对同一列使用相同的lambda函数，但输入不同。我已通过以下代码行成功完成此操作。不过，我想知道是否有更快的方法可以用更少的代码行产生相同的输出：

df["1d"] = (
        df
        .groupby(cols)["ln"]
        .apply(lambda x: x - x.shift(1))
        .values
)
df["5d"] = (
        df
        .groupby(cols)["ln"]
        .apply(lambda x: x - x.shift(5))
        .values
)
df["30d"] = (
        df
        .groupby(cols)["ln"]
        .apply(lambda x: x - x.shift(30))
        .values
)
pandas
Martin Hope
TRK
Asked: 2025-02-09 06:26:15 +0800 CST
  • 5

我有一个包含以下列的 数据框：region_id，，，，，，和。nameparentparent_namet2md2mtp

我想以特定方式对列值进行分组和聚合。为了实现这一点，我定义了以下列表：

w_params = ['t2m', 't2m', 't2m', 'd2m', 'tp']
operation = ['max', 'min', 'mean', 'mean', 'sum']
common_cols = ['region_id', 'name', 'parent', 'parent_name']

我已经编写了函数来按和聚合agg_daily对列值进行分组。dateregion_id

def agg_daily(df, common_cols, w_params, operation):
    """
    Aggregate the data for each day.

    Parameters
    ----------
    df : pandas dataframe
        Dataframe containing daily data.

    Returns
    -------
    agg_daily_df : pandas dataframe
        Dataframe containing aggregated data for each day.

    """
    agg_daily_df = df.groupby(['date', 'region_id']).agg(
        name=('name', 'first'),
        parent=('parent', 'first'),
        parent_name=('parent_name', 'first'),
        t2m_max=('t2m', 'max'),
        t2m_min=('t2m', 'min'),
        t2m_mean=('t2m', 'mean'),
        d2m=('d2m', 'mean'),
        tp=('tp', 'sum')
    ).reset_index()
    agg_daily_df = agg_daily_df.sort_values(['region_id', 'date'], ascending=[True, True]).reset_index(drop=True)
    return agg_daily_df

但是，请注意agg_daily， 中的参数（agg例如t2m_max）是硬编码的。相反，我想将、、作为参数传递给，避免硬编码，同时让函数执行所需的操作。t2m_mint2m_meancommon_colsw_paramsoperationagg_dailyagg_daily

请注意，对于属于的列common_cols，我不希望在最终输出中创建新的列名。但是，对于属于的列w_params，我希望创建一个与operation正在执行的相对应的列。

有人能帮助我获得一个可定制的功能吗？

pandas
Martin Hope
Ishigami
Asked: 2025-01-22 16:52:55 +0800 CST
  • 7

我有一个如下数据框：

ID   f_1   f_2   f_3
1    1     0     1
2    0     1     1
3    1     1     0
4    1     0     1
5    0     1     1

我完全不知道如何开始。而且我的原始数据框相当大（约 1M 行），因此非常希望有一种快速的方法。

我想生成一个新列Result，记录f其中包含 1 的一对，即

ID   f_1   f_2   f_3   Result
1    1     0     1     1_3
2    0     1     1     2_3
3    1     1     0     1_2
4    1     0     1     1_3
5    0     1     1     2_3
pandas
Martin Hope
Mike
Asked: 2025-01-20 20:08:07 +0800 CST
  • 6

我有一个像这样的条件数据框，其中大约有 300 行

pd.DataFrame({"PERSONALNR":["000009461","000009461"],"PERIODE":["202401","202402"],"MANDANT":["LB","LB"],"DA":["01","01"]})

其中“PERSONALNR”和“PERIODE”是我需要满足的条件，并且需要在第二个数据框中替换值“MANDANT”和“DA”

我想要替换的数据框与此类似，其中约有 110k 行

pd.DataFrame({"PERSONALNR":["000009461","000009461"],"PERIODE":["202401","202402"],"MANDANT":["LB","LB"],"DA":["01","01"], "KSTBEZ":["Springer pool","bla bla"]})

我想到的解决方案如下：

for row in POOL.itertuples():
    LA.loc[(LA.PERSONALNR==row.PERSONALNR)&(LA.PERIODE==row.PERIODE)&(LA.DA=="01")&(LA.KSTBEZ.str.contains("pool")),["MANDANT","DA"]]=[row.MANDANT,row.DA]

我的解决方案对于上面的数据框来说效果很好——大约需要 10 秒钟左右才能完成，但我需要在具有 100 万行的数据框中执行相同的操作——大约需要 10 分钟......

谁能想出更好的解决办法？

pandas
Martin Hope
Sun Jar
Asked: 2025-01-18 22:57:11 +0800 CST
  • 6

有一个像这样的数据框：

import numpy as np
import pandas as pd

df = pd.DataFrame({'x':np.arange(1,29),'y':[5.69, 6.03, 6.03, 6.03, 6.03, 6.03, 6.03, 5.38, 5.21, 5.4 , 5.24,
       5.4 , 5.36, 5.47, 5.58, 5.5 , 5.61, 5.53, 5.4 , 5.51, 5.47, 5.44,5.39, 5.27, 5.38, 5.35, 5.32, 5.09],
          'valley':[1, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1],
          'peak':[0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0,0, 0, 0, 0, 0, 0]})

>>> df
     x     y  valley  peak
0    1  5.69       1     0
1    2  6.03       0     0
2    3  6.03       0     1
3    4  6.03       0     0
4    5  6.03       0     0
5    6  6.03       0     0
6    7  6.03       0     0
7    8  5.38       0     0
8    9  5.21       1     0
9   10  5.40       0     0
10  11  5.24       0     0
11  12  5.40       0     0
12  13  5.36       0     0
13  14  5.47       0     0
14  15  5.58       0     0
15  16  5.50       0     0
16  17  5.61       0     1
17  18  5.53       0     0
18  19  5.40       0     0
19  20  5.51       0     0
20  21  5.47       0     0
21  22  5.44       0     0
22  23  5.39       0     0
23  24  5.27       0     0
24  25  5.38       0     0
25  26  5.35       0     0
26  27  5.32       0     0
27  28  5.09       1     0

我希望向该数据框添加一个新列“grp”，要求对于谷值列以“1”开头、峰值列以“1”结尾的每一行，添加的列中的值为“A”，反之，对于峰值列以“1”开头、谷值列以“1”结尾的每一行，添加的列中的值为“B”。

期望的结果是：

>>> out
     x     y  valley  peak  grp
0    1  5.69       1     0  A
1    2  6.03       0     0  A
2    3  6.03       0     1  B
3    4  6.03       0     0  B
4    5  6.03       0     0  B
5    6  6.03       0     0  B
6    7  6.03       0     0  B
7    8  5.38       0     0  B
8    9  5.21       1     0  A
9   10  5.40       0     0  A
10  11  5.24       0     0  A
11  12  5.40       0     0  A
12  13  5.36       0     0  A
13  14  5.47       0     0  A
14  15  5.58       0     0  A
15  16  5.50       0     0  A
16  17  5.61       0     1  B
17  18  5.53       0     0  B
18  19  5.40       0     0  B
19  20  5.51       0     0  B
20  21  5.47       0     0  B
21  22  5.44       0     0  B
22  23  5.39       0     0  B
23  24  5.27       0     0  B
24  25  5.38       0     0  B
25  26  5.35       0     0  B
26  27  5.32       0     0  B
27  28  5.09       1     0  A

如果我们不使用带有函数和 for 循环的 apply，是否有一种使用 pandas 的原生方法来实现？

pandas
Martin Hope
ChairmanMeow
Asked: 2025-01-06 08:00:20 +0800 CST
  • 6
一个 乙 碳 德 埃
键 1 1 -1
键 2 1 -1
键 3 1 -1
键 4 -1 1
键 5 1 -1
键 6 1 -1
键 7 1 -1
键 8 1 -2 1

最终结果

一个 乙 碳 德 埃
1 -1

假设我们有上述数据框，其中每个键都是用于创建组合以获得所需最终结果的选项。假设您还可以指定可用于实现以下最终结果的最大组合数，那么如何遍历数据框，当一组组合等于最终结果时，它会打印组成组合的所有键以及它所采用的组合数？

例如，假设最大组合数为 3 键组合。那么以下组合将满足最终结果，并且保持低于或等于允许实现该结果的按键组合数

钥匙 2（本身），连击 1

键 4 + 键 5，组合 2

键 3 + 键 8，组合 2

pandas
Martin Hope
user2114544
Asked: 2024-12-31 23:10:14 +0800 CST
  • 6

我创建了一个 Web 应用程序来搜索 CSV 文件中的内容。目前我只能将所有内容放入 1 列中，并以逗号作为分隔符，我想显示如图所示的数据。我的 Python 代码

selected_columns = [202, 9, 10, 135, 13, 127, 126, 26, 28,128,129,31,33]
df = df.iloc[:, selected_columns]
df.columns = ['CDRID', 'ANumber', 'To', 'SipStatus', 'ISrcIP', 'IDstIP', 'ISrcRTP', 'IDstRTP', 'OSrcIP', 'ODstIP', 'OSrcRTP', 'ODstRTP']]
df['Ingress'] = df[['ISrcIP', 'IDstIP', 'ISrcRTP', 'IDstRTP']].apply(lambda x: ', '.join(x.dropna().astype(str)), axis=1)
df['Egress'] = df[[ 'OSrcIP', 'ODstIP', 'OSrcRTP', 'ODstRTP']].apply(lambda x: ', '.join(x.dropna().astype(str)), axis=1)
df = df.drop(columns=['ISrcIP', 'IDstIP', 'ISrcRTP', 'IDstRTP', 'OSrcIP', 'ODstIP', 'OSrcRTP', 'ODstRTP'])    
df = df.drop(columns=['ISrcIP', 'IDstIP', 'ISrcRTP', 'IDstRTP', 'OSrcIP', 'ODstIP', 'OSrcRTP', 'ODstRTP'])
combined_df = pd.concat([combined_df, df], ignore_index=True)
results.append(('Combined Results', combined_df.to_html(index=False)))

html 前端代码

        {% for file, table in results %}
    <div class="container-fluid">
    <div class="table-responsive">
        <table class="table table-striped table-bordered table-hover">
            {{ table|safe }}
        </table>
    </div>
{% endfor %}

电流输出 当前 html 输出

预期的 html 标头
预期输出

pandas
Martin Hope
Ishigami
Asked: 2024-12-30 20:39:15 +0800 CST
  • 6

我有一个 Pandas 数据框，用于记录不同班级学生的考试表现，它如下所示：

Class_ID   Class_size   Student_Number   IQ   Hours   Score   Place
1          3            1                101  10      98      1
1          3            2                99   19      80      3
1          3            3                130  3       95      2
2          5            1                93   5       50      5
2          5            2                103  9       88      3
2          5            3                112  12      99      2
2          5            4                200  10      100     1
2          5            5                90   19      78      4
3          2            1                100  12      84      2
3          2            2                102  13      88      1

我想使用Student_Numberascolumns和Class_ID, Class_sizeas将上述长格式转换为宽格式index，最后一列Top是该班第一名的学生，因此期望的结果如下：

Class_ID Class_size IQ_1 IQ_2 IQ_3 IQ_4 IQ_5 Hours_1 Hours_2 Hours_3 Hours_4 Hours_5 Score_1 Score_2 Score_3 Score_4 Score_5 Top
1        1          101  99   130  NaN  NaN  10      19      3       NaN     NaN     98      80      95      NaN     NaN     1
2        5          93   103  112  200  90   5       9       12      10      19      50      88      99      100     78      4
3        2          100  102  NaN  NaN  NaN  12      13      NaN     NaN     NaN     84      88      NaN     NaN     NaN     2

以下是我尝试过的：

out = df.pivot_table(index=['Class_ID', 'Class_size'],
                     columns='Student_Number',
                     values=['IQ', 'Hours', 'Score'])
out.columns = [f'{x}_{y}' for x,y in out.columns]
out_dummy = out.reset_index()
df_wide = out_dummy

但是，我不知道如何创建最后一列Top。此外，上面的代码似乎相当慢，而且由于我的原始数据框非常大（约 300,000 行），我想问一下有没有更快的方法可以做到这一点。提前谢谢您。

pandas