主页 / coding / 问题 / 79148025
Accepted
Giampaolo Levorato
Asked: 2024-11-01 20:40:42 +0800 CST

在 Pandas 数据框中创建随机分区，并创建一个标识分区的字段

  • 772

我创建了以下熊猫数据框：

ds = {'col1':[1.0,2.1,2.2,3.1,41,5.2,5.0,6.1,7.1,10]}
df = pd.DataFrame(data=ds)

数据框如下所示：

print(df)

   col1
0   1.0
1   2.1
2   2.2
3   3.1
4  41.0
5   5.2
6   5.0
7   6.1
8   7.1
9  10.0

我需要创建一个随机的 80% / 20% 的数据集分区，并且还需要创建一个字段（称为buildFlag），以显示记录是属于 80% 分区（buildFlag = 1）还是属于 20% 分区（buildFlag = 0）。

例如，生成的数据框将如下所示：

   col1  buildFlag
0   1.0          1
1   2.1          1
2   2.2          1
3   3.1          0
4  41.0          1
5   5.2          0
6   5.0          1
7   6.1          1
8   7.1          1
9  10.0          1

这些buildFlag值是随机分配的。

有人能帮帮我吗？

python

3 个回答

  1. Best Answer

    解决方案（PANDAS + NUMPY）

    一个可能的解决方案是：

    • 首先，采用np.random.choice随机方式选择 80% 的df指标，无需重复。

    • 然后该df.index.isin函数检查每一行的索引以查看是否选择了该行。

    • 最后，为选定索引的列np.where分配 1 Flag，为其他索引分配 0。

    df.assign(Flag=np.where(
    df.index.isin(np.random.choice(
        df.index, size=int(0.8 * len(df)), 
        replace=False)),
    1, 0))

    解决方案（PANDAS + SKLEARN）

    或者，我们可以使用 scikit-learn的train_test_split函数：

    • 首先，它df按照 的规定将 的指标随机分成两组：80％用于训练，20％用于测试test_size=0.2。

    • 使用 提取训练索引[0]。df.index.isin然后该方法检查哪些索引属于训练集，并生成一个布尔数组。

    • 最后，使用 将这个布尔数组转换为整数（1对于True和0对于False）.astype(int)。

    from sklearn.model_selection import train_test_split

df.assign(Flag = df.index.isin(
    train_test_split(df.index, test_size=0.2, random_state=42)[0]).astype(int))

    输出：

       col1  Flag
0   1.0     0
1   2.1     1
2   2.2     1
3   3.1     1
4  41.0     1
5   5.2     1
6   5.0     1
7   6.1     1
8   7.1     1
9  10.0     0
    • 2

  2. 使用sample和reindex：

    df['buildFlag'] = (pd.Series(1, index=df.index)
                     .sample(frac=0.8)
                     .reindex(df.index, fill_value=0)
                   )

    或者，如果您的索引是唯一的：

    df['buildFlag'] = df.index.isin(df.sample(frac=0.8).index).astype(int)

    输出：

       col1  buildFlag
0   1.0          1
1   2.1          1
2   2.2          1
3   3.1          1
4  41.0          1
5   5.2          1
6   5.0          0
7   6.1          1
8   7.1          0
9  10.0          1
    • 2

  3. 您也可以使用shufflefrom random，例如，

    from random import shuffle
v = ((df.index+1)/len(df)<=0.8).astype(int)
shuffle(v)
df['buildFlag'] = v

    输出如下

       col1  buildFlag
0   1.0          1
1   2.1          1
2   2.2          1
3   3.1          1
4  41.0          0
5   5.2          1
6   5.0          1
7   6.1          1
8   7.1          0
9  10.0          1
    • 0

相关问题