主页 / user-2893712

Bijan's questions

Martin Hope
Bijan
Asked: 2024-09-26 00:50:29 +0800 CST
  • 6

我有一个 Pandas 数据框，其设置如下：

Code    StartDate      EndDate
   A   2024-07-01   2024-08-03
   B   2024-08-06   2024-08-10
   C   2024-08-11   2024-08-31

我的代码中有一部分会每天进行迭代（从 2024-07-01 开始），并且我试图返回相应的Code给定日期（如果日期不在任何 StartDate/EndDate 范围内，则返回回退）。

我最初的想法是做类似的事情：

DAYS = DAY_DF['Date'].tolist() # Just a list of each day
for DAY in DAYS:
    code = False
    for i,r in df.iterrows():
        if r['StartDate'] <= DAY <= r['EndDate']:
            code = r['Code']
            break
    if not code: # `Code` is still False
        code = 'Fallback_Code'

但是，对数据框中的每一行进行迭代似乎非常低效，特别是因为我的数据框中有很多记录。

以下是一些示例输入和最终的代码输出：

2024-07-03 -> 'A'
2024-08-04 -> 'Fallback_Code'
2024-08-10 -> 'B'
2024-08-11 -> 'C'
python
Martin Hope
Bijan
Asked: 2024-09-05 00:51:21 +0800 CST
  • 5

我有一个数据框，显示有关员工、他们所在的站点和他们担任过的职位的详细信息。数据框包含站点 ID、员工 ID 和开始日期（以及许多其他字段）的列。我按站点和员工 ID ASC 排序，然后按生效日期 DESC 排序（最新记录排在第一位）

Site     EmployeeID         StartDate
   1            123        2024-09-01
   1            123        2024-08-01
   1            123        2024-06-01
   1            123        2024-05-01
   2            100        2024-06-01
   2            100        2024-03-01

我需要创建一个名为的新列，EndDate它是上一条记录的日期减 1 天。我们正在迁移到一个新系统，所以我们只关心包括 7/1/24（或之后）范围的日期。因此，对于我的示例 df，它看起来像

Site     EmployeeID         StartDate       EndDate    Import
   1            123        2024-09-01                       Y
   1            123        2024-08-01    2024-08-31         Y
   1            123        2024-06-01    2024-07-31         Y
   1            123        2024-05-01    2024-05-31         N
   2            100        2024-06-01                       Y
   2            100        2024-03-01    2024-05-31         N

然后过滤df['Import'] ='Y'

我最初的想法是迭代df.groupby(by=['Site','EmployeeID'])并使用.iloc[]它获取下一个日期值，减去 1 天，检查是否EndDate大于 7/1/24，然后相应地将 Import 设置为Y或N。问题是这是一个非常大的数据集（约 300K 行），这个操作会花费很长时间。

python
Martin Hope
Bijan
Asked: 2024-09-04 02:32:34 +0800 CST
  • 10

我有一个 Pandas 数据框，其中包含用户信息，并且还有一列有关其权限的信息：

UserName    Permissions
John Doe             02
John Doe             11
 Example             09
 Example             08
   User3             11

我正在尝试创建一个名为的新列，User Class该列基于他们的权限（查看所有用户权限）。 如果用户拥有所有权限 <10，则将其视为Admin。 如果用户拥有所有权限 >=10，则将其视为User。 但是，如果他们拥有的权限同时 <10 和 >=10，则他们将被编码为Admin/User。 因此，我的结果输出将是：

UserName    Permissions    User Class
John Doe             02    Admin/User
John Doe             11    Admin/User
 Example             09         Admin
 Example             08         Admin
   User3             11          User

最好的方法是什么？ 我最初的想法是：

for UserName, User_df in df.groupby(by='UserName'):
    LT10 = (User_df['Permissions'] < 10).any()
    GTE10 = (User_df['Permissions'] >= 10).any()
    if (LT10 & GTE10):
        UserClass = 'Admin/User'
    elif LT10:
        UserClass = 'Admin'
    elif GTE10:
        UserClass = 'User'
    df.at[User_df.index, 'User Class'] = UserClass

然而这些似乎非常低效因为df有~800K条记录

python
Martin Hope
Bijan
Asked: 2024-08-29 06:04:24 +0800 CST
  • 10

我有一个数据框，其中有一个名为的字段，fields它是字典列表（所有行都具有相同的格式）。数据框的结构如下：

formId    fields
   123    [{'number': 1, 'label': 'Last Name', 'value': 'Doe'}, {'number': 2, 'label': 'First Name', 'value': 'John'}]

我正在尝试解开该fields列，因此它看起来像：

formId    Last Name    First Name
   123          Doe          John

我目前拥有的代码是：

for i,r in df.iterrows():
    for field in r['fields']:
        df.at[i, field['label']] = field['value']

但是这似乎不是最有效的方法。有没有更好的方法来实现这一点？

python
Martin Hope
Bijan
Asked: 2024-08-23 06:26:52 +0800 CST
  • 7

我有一个包含工作地点信息的数据框。

District#    Site#           Address
        1        1    123 Bayview Ln
        1        2    456 Example St
        2       36      789 Hello Dr
        2       44      789 Hello Dr

我正在尝试转换此数据框，以添加具有最高 Site# 的列以及按 District# 分组时的不同地址。以下是我希望输出的示例：

District#    Site#           Address    MaxSite#            All District Addresses
        1        1    123 Bayview Ln           2     123 Bayview Ln,456 Example St
        1        2    456 Example St           2     123 Bayview Ln,456 Example St
        2       36      789 Hello Dr          44                      789 Hello Dr
        2       44      789 Hello Dr          44                      789 Hello Dr

我可以通过以下方式获取 Max Site#

df['MaxSite#'] = df.groupby(by='District#')['Site#'].transform('max')

但是当我按 District# 分组时，我尝试找到一种类似的方法来列出所有唯一的地址。

我尝试过.transform('unique')但是这不是一个有效的函数名并且执行.agg(['unique'])返回的维度不匹配

python