主页 / coding / 问题

问题[pandas](coding)

Martin Hope
Ishigami
Asked: 2025-02-18 17:23:36 +0800 CST
  • 7

我有一个熊猫数据框，看起来像

data = {
'Date': ['2024-07-14','2024-07-14','2024-07-14','2024-07-14','2024-07-14','2024-03-14','2024-03-14','2024-03-14','2024-02-14','2024-02-10','2024-02-10','2024-02-10','2024-04-13','2024-04-13','2023-02-11','2023-02-11','2023-02-11','2011-10-11','2011-05-02','2011-05-02'],
'Test_Number': [5,4,3,2,1,3,2,1,4,3,2,1,2,1,3,2,1,1,2,1],
'Student_ID': [2,2,2,2,2,2,2,2,2,2,2,2,1,1,1,1,1,1,1,1],
'Place': [3,5,7,3,1,9,6,3,7,8,2,1,3,4,2,1,5,6,2,7]
}
df = pd.DataFrame(data)

我想使用以下方法创建三个新列“student_rec_1”、“student_rec_2”、“student_rec_3”：

对于每个 Student_ID，student_rec_1 等于该学生在最近的最后一次考试中的成绩，如果不存在则等于 np.nan。

类似地，student_rec_2 等于该学生在最近一次日期的倒数第二次考试中的成绩，如果不存在则等于 np.nan，

student_rec_3 等于该学生在最近日期的倒数第三次考试中的排名，如果不存在则等于 np.nan。因此，期望的结果如下

data_new = {
'Date': ['2024-07-14','2024-07-14','2024-07-14','2024-07-14','2024-07-14','2024-03-14','2024-03-14','2024-03-14','2024-02-14','2024-02-10','2024-02-10','2024-02-10','2024-04-13','2024-04-13','2023-02-11','2023-02-11','2023-02-11','2011-10-11','2011-05-02','2011-05-02'],
'Test_Number': [5,4,3,2,1,3,2,1,4,3,2,1,2,1,3,2,1,1,2,1],
'Student_ID': [2,2,2,2,2,2,2,2,2,2,2,2,1,1,1,1,1,1,1,1],
'Place': [3,5,7,3,1,9,6,3,7,8,2,1,3,4,2,1,5,6,2,7],
'student_rec_1': [9,9,9,9,9,7,7,7,8,np.nan,np.nan,np.nan,2,2,6,6,6,2,np.nan,np.nan],
'student_rec_2': [6,6,6,6,6,8,8,8,2,np.nan,np.nan,np.nan,1,1,2,2,2,7,np.nan,np.nan],
'student_rec_3': [3,3,3,3,3,2,2,2,1,np.nan,np.nan,np.nan,5,5,7,7,7,np.nan,np.nan,np.nan]
}
df_new = pd.DataFrame(data_new)

这就是我尝试过的：

df['日期'] = pd.to_datetime(df['日期'])

df = df.sort_values(['日期', '测试编号'], 升序=[False, False])

def get_last_n_records(group，n):返回group['Place'].shift(-n)

df['student_rec_1'] = df.groupby('学生ID').apply(get_last_n_records, 1).reset_index(level=0, drop=True) df['student_rec_2'] = df.groupby('学生ID').apply(get_last_n_records, 2).reset_index(level=0, drop=True) df['student_rec_3'] = df.groupby('学生ID').apply(get_last_n_records, 3).reset_index(level=0, drop=True)

但它只是改变了每个学生的位置，并没有考虑到“最后一天”的因素，而且无论如何都会改变位置。

pandas
Martin Hope
Whitebeard13
Asked: 2025-02-12 16:16:51 +0800 CST
  • 7

我想在现有的 pandas 数据框 ( df) 中创建三个新列，方法是对同一列使用相同的lambda函数，但输入不同。我已通过以下代码行成功完成此操作。不过，我想知道是否有更快的方法可以用更少的代码行产生相同的输出：

df["1d"] = (
        df
        .groupby(cols)["ln"]
        .apply(lambda x: x - x.shift(1))
        .values
)
df["5d"] = (
        df
        .groupby(cols)["ln"]
        .apply(lambda x: x - x.shift(5))
        .values
)
df["30d"] = (
        df
        .groupby(cols)["ln"]
        .apply(lambda x: x - x.shift(30))
        .values
)
pandas
Martin Hope
TRK
Asked: 2025-02-09 06:26:15 +0800 CST
  • 5

我有一个包含以下列的 数据框：region_id，，，，，，和。nameparentparent_namet2md2mtp

我想以特定方式对列值进行分组和聚合。为了实现这一点，我定义了以下列表：

w_params = ['t2m', 't2m', 't2m', 'd2m', 'tp']
operation = ['max', 'min', 'mean', 'mean', 'sum']
common_cols = ['region_id', 'name', 'parent', 'parent_name']

我已经编写了函数来按和聚合agg_daily对列值进行分组。dateregion_id

def agg_daily(df, common_cols, w_params, operation):
    """
    Aggregate the data for each day.

    Parameters
    ----------
    df : pandas dataframe
        Dataframe containing daily data.

    Returns
    -------
    agg_daily_df : pandas dataframe
        Dataframe containing aggregated data for each day.

    """
    agg_daily_df = df.groupby(['date', 'region_id']).agg(
        name=('name', 'first'),
        parent=('parent', 'first'),
        parent_name=('parent_name', 'first'),
        t2m_max=('t2m', 'max'),
        t2m_min=('t2m', 'min'),
        t2m_mean=('t2m', 'mean'),
        d2m=('d2m', 'mean'),
        tp=('tp', 'sum')
    ).reset_index()
    agg_daily_df = agg_daily_df.sort_values(['region_id', 'date'], ascending=[True, True]).reset_index(drop=True)
    return agg_daily_df

但是，请注意agg_daily， 中的参数（agg例如t2m_max）是硬编码的。相反，我想将、、作为参数传递给，避免硬编码，同时让函数执行所需的操作。t2m_mint2m_meancommon_colsw_paramsoperationagg_dailyagg_daily

请注意，对于属于的列common_cols，我不希望在最终输出中创建新的列名。但是，对于属于的列w_params，我希望创建一个与operation正在执行的相对应的列。

有人能帮助我获得一个可定制的功能吗？

pandas
Martin Hope
Ishigami
Asked: 2025-01-22 16:52:55 +0800 CST
  • 7

我有一个如下数据框：

ID   f_1   f_2   f_3
1    1     0     1
2    0     1     1
3    1     1     0
4    1     0     1
5    0     1     1

我完全不知道如何开始。而且我的原始数据框相当大（约 1M 行），因此非常希望有一种快速的方法。

我想生成一个新列Result，记录f其中包含 1 的一对，即

ID   f_1   f_2   f_3   Result
1    1     0     1     1_3
2    0     1     1     2_3
3    1     1     0     1_2
4    1     0     1     1_3
5    0     1     1     2_3
pandas
Martin Hope
Mike
Asked: 2025-01-20 20:08:07 +0800 CST
  • 6

我有一个像这样的条件数据框，其中大约有 300 行

pd.DataFrame({"PERSONALNR":["000009461","000009461"],"PERIODE":["202401","202402"],"MANDANT":["LB","LB"],"DA":["01","01"]})

其中“PERSONALNR”和“PERIODE”是我需要满足的条件，并且需要在第二个数据框中替换值“MANDANT”和“DA”

我想要替换的数据框与此类似，其中约有 110k 行

pd.DataFrame({"PERSONALNR":["000009461","000009461"],"PERIODE":["202401","202402"],"MANDANT":["LB","LB"],"DA":["01","01"], "KSTBEZ":["Springer pool","bla bla"]})

我想到的解决方案如下：

for row in POOL.itertuples():
    LA.loc[(LA.PERSONALNR==row.PERSONALNR)&(LA.PERIODE==row.PERIODE)&(LA.DA=="01")&(LA.KSTBEZ.str.contains("pool")),["MANDANT","DA"]]=[row.MANDANT,row.DA]

我的解决方案对于上面的数据框来说效果很好——大约需要 10 秒钟左右才能完成，但我需要在具有 100 万行的数据框中执行相同的操作——大约需要 10 分钟......

谁能想出更好的解决办法？

pandas
Martin Hope
Sun Jar
Asked: 2025-01-18 22:57:11 +0800 CST
  • 6

有一个像这样的数据框：

import numpy as np
import pandas as pd

df = pd.DataFrame({'x':np.arange(1,29),'y':[5.69, 6.03, 6.03, 6.03, 6.03, 6.03, 6.03, 5.38, 5.21, 5.4 , 5.24,
       5.4 , 5.36, 5.47, 5.58, 5.5 , 5.61, 5.53, 5.4 , 5.51, 5.47, 5.44,5.39, 5.27, 5.38, 5.35, 5.32, 5.09],
          'valley':[1, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1],
          'peak':[0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0,0, 0, 0, 0, 0, 0]})

>>> df
     x     y  valley  peak
0    1  5.69       1     0
1    2  6.03       0     0
2    3  6.03       0     1
3    4  6.03       0     0
4    5  6.03       0     0
5    6  6.03       0     0
6    7  6.03       0     0
7    8  5.38       0     0
8    9  5.21       1     0
9   10  5.40       0     0
10  11  5.24       0     0
11  12  5.40       0     0
12  13  5.36       0     0
13  14  5.47       0     0
14  15  5.58       0     0
15  16  5.50       0     0
16  17  5.61       0     1
17  18  5.53       0     0
18  19  5.40       0     0
19  20  5.51       0     0
20  21  5.47       0     0
21  22  5.44       0     0
22  23  5.39       0     0
23  24  5.27       0     0
24  25  5.38       0     0
25  26  5.35       0     0
26  27  5.32       0     0
27  28  5.09       1     0

我希望向该数据框添加一个新列“grp”，要求对于谷值列以“1”开头、峰值列以“1”结尾的每一行，添加的列中的值为“A”，反之，对于峰值列以“1”开头、谷值列以“1”结尾的每一行，添加的列中的值为“B”。

期望的结果是：

>>> out
     x     y  valley  peak  grp
0    1  5.69       1     0  A
1    2  6.03       0     0  A
2    3  6.03       0     1  B
3    4  6.03       0     0  B
4    5  6.03       0     0  B
5    6  6.03       0     0  B
6    7  6.03       0     0  B
7    8  5.38       0     0  B
8    9  5.21       1     0  A
9   10  5.40       0     0  A
10  11  5.24       0     0  A
11  12  5.40       0     0  A
12  13  5.36       0     0  A
13  14  5.47       0     0  A
14  15  5.58       0     0  A
15  16  5.50       0     0  A
16  17  5.61       0     1  B
17  18  5.53       0     0  B
18  19  5.40       0     0  B
19  20  5.51       0     0  B
20  21  5.47       0     0  B
21  22  5.44       0     0  B
22  23  5.39       0     0  B
23  24  5.27       0     0  B
24  25  5.38       0     0  B
25  26  5.35       0     0  B
26  27  5.32       0     0  B
27  28  5.09       1     0  A

如果我们不使用带有函数和 for 循环的 apply，是否有一种使用 pandas 的原生方法来实现？

pandas
Martin Hope
ChairmanMeow
Asked: 2025-01-06 08:00:20 +0800 CST
  • 6
一个 乙 碳 德 埃
键 1 1 -1
键 2 1 -1
键 3 1 -1
键 4 -1 1
键 5 1 -1
键 6 1 -1
键 7 1 -1
键 8 1 -2 1

最终结果

一个 乙 碳 德 埃
1 -1

假设我们有上述数据框，其中每个键都是用于创建组合以获得所需最终结果的选项。假设您还可以指定可用于实现以下最终结果的最大组合数，那么如何遍历数据框，当一组组合等于最终结果时，它会打印组成组合的所有键以及它所采用的组合数？

例如，假设最大组合数为 3 键组合。那么以下组合将满足最终结果，并且保持低于或等于允许实现该结果的按键组合数

钥匙 2（本身），连击 1

键 4 + 键 5，组合 2

键 3 + 键 8，组合 2

pandas
Martin Hope
user2114544
Asked: 2024-12-31 23:10:14 +0800 CST
  • 6

我创建了一个 Web 应用程序来搜索 CSV 文件中的内容。目前我只能将所有内容放入 1 列中，并以逗号作为分隔符，我想显示如图所示的数据。我的 Python 代码

selected_columns = [202, 9, 10, 135, 13, 127, 126, 26, 28,128,129,31,33]
df = df.iloc[:, selected_columns]
df.columns = ['CDRID', 'ANumber', 'To', 'SipStatus', 'ISrcIP', 'IDstIP', 'ISrcRTP', 'IDstRTP', 'OSrcIP', 'ODstIP', 'OSrcRTP', 'ODstRTP']]
df['Ingress'] = df[['ISrcIP', 'IDstIP', 'ISrcRTP', 'IDstRTP']].apply(lambda x: ', '.join(x.dropna().astype(str)), axis=1)
df['Egress'] = df[[ 'OSrcIP', 'ODstIP', 'OSrcRTP', 'ODstRTP']].apply(lambda x: ', '.join(x.dropna().astype(str)), axis=1)
df = df.drop(columns=['ISrcIP', 'IDstIP', 'ISrcRTP', 'IDstRTP', 'OSrcIP', 'ODstIP', 'OSrcRTP', 'ODstRTP'])    
df = df.drop(columns=['ISrcIP', 'IDstIP', 'ISrcRTP', 'IDstRTP', 'OSrcIP', 'ODstIP', 'OSrcRTP', 'ODstRTP'])
combined_df = pd.concat([combined_df, df], ignore_index=True)
results.append(('Combined Results', combined_df.to_html(index=False)))

html 前端代码

        {% for file, table in results %}
    <div class="container-fluid">
    <div class="table-responsive">
        <table class="table table-striped table-bordered table-hover">
            {{ table|safe }}
        </table>
    </div>
{% endfor %}

电流输出 当前 html 输出

预期的 html 标头
预期输出

pandas
Martin Hope
Ishigami
Asked: 2024-12-30 20:39:15 +0800 CST
  • 6

我有一个 Pandas 数据框，用于记录不同班级学生的考试表现，它如下所示：

Class_ID   Class_size   Student_Number   IQ   Hours   Score   Place
1          3            1                101  10      98      1
1          3            2                99   19      80      3
1          3            3                130  3       95      2
2          5            1                93   5       50      5
2          5            2                103  9       88      3
2          5            3                112  12      99      2
2          5            4                200  10      100     1
2          5            5                90   19      78      4
3          2            1                100  12      84      2
3          2            2                102  13      88      1

我想使用Student_Numberascolumns和Class_ID, Class_sizeas将上述长格式转换为宽格式index，最后一列Top是该班第一名的学生，因此期望的结果如下：

Class_ID Class_size IQ_1 IQ_2 IQ_3 IQ_4 IQ_5 Hours_1 Hours_2 Hours_3 Hours_4 Hours_5 Score_1 Score_2 Score_3 Score_4 Score_5 Top
1        1          101  99   130  NaN  NaN  10      19      3       NaN     NaN     98      80      95      NaN     NaN     1
2        5          93   103  112  200  90   5       9       12      10      19      50      88      99      100     78      4
3        2          100  102  NaN  NaN  NaN  12      13      NaN     NaN     NaN     84      88      NaN     NaN     NaN     2

以下是我尝试过的：

out = df.pivot_table(index=['Class_ID', 'Class_size'],
                     columns='Student_Number',
                     values=['IQ', 'Hours', 'Score'])
out.columns = [f'{x}_{y}' for x,y in out.columns]
out_dummy = out.reset_index()
df_wide = out_dummy

但是，我不知道如何创建最后一列Top。此外，上面的代码似乎相当慢，而且由于我的原始数据框非常大（约 300,000 行），我想问一下有没有更快的方法可以做到这一点。提前谢谢您。

pandas
Martin Hope
Marcio Lino
Asked: 2024-12-26 19:59:33 +0800 CST
  • 5

我有以下熊猫数据框，我想转置它。

年 CD_PRD 维基百科 最大有效射程 虚拟地址 VL_APR
2022 CD76 10000 8000 170000 58000
2022 CD92 15000 7500 86000 1200
2023 CD76 8000 12000 15000 5000
2023 CD92 12000 4560 10480 15600
2024 CD76 400 8000 45800 120
2024 CD92 56000 10200 150000 1500

我需要的是将值列名称（例如 VL_JAN | VL_FEB | VL_MAR | VL_APR ）转换为行，将行（CD-PRD）转换为线，以便在末尾包含以下数据框：

年 几个月 VL_CD76 VL_CD92
2022 一月 10000 15000
2022 二月 8000 7500
2022 3月 170000 86000
2022 急性淋巴细胞白血病 58000 1200
2023 一月 8000 12000
2023 二月 12000 4560
2023 3月 15000 10480
2023 急性淋巴细胞白血病 5000 15600
2024 一月 400 56000
2024 二月 8000 10200
2024 3月 45800 150000
2024 急性淋巴细胞白血病 120 1500

我做了以下操作，但似乎我错过了一些东西并且没有设法获得正确的数据框结构。

df3 = df2.pivot(index='YEAR', columns=['CD_PRD'], values=['VL_JAN', 'VL_FEB', 'VL_MAR', 'VL_APR']).reset_index()
print(df3)

任何帮助都非常感谢。谢谢！

马西奥

pandas