Início / coding / Perguntas / 79148025
Accepted
Giampaolo Levorato
Asked: 2024-11-01 20:40:42 +0800 CST

Crie uma partição aleatória dentro de um dataframe pandas e crie um campo que identifique as partições

  • 772

Criei o seguinte dataframe do pandas:

ds = {'col1':[1.0,2.1,2.2,3.1,41,5.2,5.0,6.1,7.1,10]}
df = pd.DataFrame(data=ds)

O dataframe se parece com isto:

print(df)

   col1
0   1.0
1   2.1
2   2.2
3   3.1
4  41.0
5   5.2
6   5.0
7   6.1
8   7.1
9  10.0

Preciso criar uma partição aleatória de 80% / 20% do conjunto de dados e também preciso criar um campo (chamado buildFlag) que mostra se um registro pertence à partição de 80% ( buildFlag = 1) ou pertence à partição de 20% ( buildFlag = 0).

Por exemplo, o dataframe resultante seria algo como:

   col1  buildFlag
0   1.0          1
1   2.1          1
2   2.2          1
3   3.1          0
4  41.0          1
5   5.2          0
6   5.0          1
7   6.1          1
8   7.1          1
9  10.0          1

Os buildFlagvalores são atribuídos aleatoriamente.

Alguém pode me ajudar, por favor?

python

3 respostas

  1. Best Answer

    SOLUÇÃO (PANDAS + NUMPY)

    Uma possível solução, que:

    • Primeiro, usando np.random.choicepara escolher aleatoriamente 80% dos dfíndices sem substituição.

    • A df.index.isinfunção então verifica o índice de cada linha para ver se ela foi selecionada.

    • Por fim, np.whereatribui 1 à Flagcoluna para os índices selecionados e 0 para os demais.

    df.assign(Flag=np.where(
    df.index.isin(np.random.choice(
        df.index, size=int(0.8 * len(df)), 
        replace=False)),
    1, 0))

    SOLUÇÃO (PANDAS + SKLEARN)

    Alternativamente, podemos usar a função scikit-learn's train_test_split:

    • Primeiro, ele divide aleatoriamente os dfíndices do em dois grupos: 80% para treinamento e 20% para teste, conforme especificado por test_size=0.2.

    • Os índices de treinamento são extraídos usando [0]. O df.index.isinmétodo então verifica quais índices pertencem ao conjunto de treinamento, produzindo um array booleano.

    • Por fim, esse array booleano é convertido em inteiros ( 1for Truee 0for False) usando .astype(int).

    from sklearn.model_selection import train_test_split

df.assign(Flag = df.index.isin(
    train_test_split(df.index, test_size=0.2, random_state=42)[0]).astype(int))

    Saída:

       col1  Flag
0   1.0     0
1   2.1     1
2   2.2     1
3   3.1     1
4  41.0     1
5   5.2     1
6   5.0     1
7   6.1     1
8   7.1     1
9  10.0     0
    • 2

  2. Usando samplee reindex:

    df['buildFlag'] = (pd.Series(1, index=df.index)
                     .sample(frac=0.8)
                     .reindex(df.index, fill_value=0)
                   )

    Alternativamente, se seus índices forem únicos:

    df['buildFlag'] = df.index.isin(df.sample(frac=0.8).index).astype(int)

    Saída:

       col1  buildFlag
0   1.0          1
1   2.1          1
2   2.2          1
3   3.1          1
4  41.0          1
5   5.2          1
6   5.0          0
7   6.1          1
8   7.1          0
9  10.0          1
    • 2

  3. Você também pode usar shufflefrom , por exemplo,random

    from random import shuffle
v = ((df.index+1)/len(df)<=0.8).astype(int)
shuffle(v)
df['buildFlag'] = v

    e a saída parece

       col1  buildFlag
0   1.0          1
1   2.1          1
2   2.2          1
3   3.1          1
4  41.0          0
5   5.2          1
6   5.0          1
7   6.1          1
8   7.1          0
9  10.0          1
    • 0

relate perguntas