Início / coding / Perguntas / 79485775
Accepted
Swawa
Asked: 2025-03-05 15:56:40 +0800 CST

csv para dataframe com vários delimitadores e bug de software

  • 772

Gostaria de ler em um arquivo csv. Infelizmente, isso é criado por um software com bugs: Minha linha de cabeçalho contém vários separadores ";" e ",". O que não seria um problema se meu conjunto de dados não tivesse um decimal ",".

Gostaria de ler os arquivos automaticamente sem alterar o cabeçalho manualmente, mas não encontrei nada de acordo com a documentação do Pandas.

Os dados de exemplo:

some file header row number 1
some file header row number two
some more information about data in that file
column1;column2;column3,column4,column5
1,234;2,665;0,888;3,891;3,762
2,232;1,233;0,888;3,789;3,524

Posso especificar um separador diferente para o cabeçalho do que para o próprio conjunto de dados? Meu código:

df = pd.read_csv(
    "mypath\test.csv", 
    skiprows = 3;header= 0, delimiter=';,', decimal = ",")

o que resulta na leitura de tudo em uma coluna

    column1;column2;column3,column4,column5
0   1,234;2,665;0,888;3,891;3,762
1   2,232;1,233;0,888;3,789;3,524

Mas o resultado deve ser cinco colunas:

    column1     column2     column3     column4     column5
0   1.234   2.665   0.888   3.891   3.762
1   2.232   1.233   0.888   3.789   3.524
python

1 respostas

  1. Best Answer

    Supondo que seus cabeçalhos comecem com uma letra de [A-Za-z]você pode passar uma regex com um lookahead positivo para a opção vírgula sepdentro pd.read_csv:

    import pandas as pd
from io import StringIO

csv = """some file header row number 1
some file header row number two
some more information about data in that file
column1;column2;column3,column4,column5
1,234;2,665;0,888;3,891;3,762
2,232;1,233;0,888;3,789;3,524"""

df = pd.read_csv(StringIO(csv), 
                 sep=r';|,(?=[A-Za-z])', 
                 skiprows=3, 
                 engine='python', 
                 decimal=',')

    Saída:

       column1  column2  column3  column4  column5
0    1.234    2.665    0.888    3.891    3.762
1    2.232    1.233    0.888    3.789    3.524

    Explicação de Regex . Ou use: r';|,(?=[^\d])'(não seguido por um dígito).

    É claro que você pode ajustar a regex se precisar de uma solução mais rigorosa para garantir que a opção para a vírgula não corresponda às linhas subsequentes.

    Edição: para esclarecer, o equivalente para o caminho do seu arquivo é:

    pd.read_csv("mypath\test.csv", sep=r';|,(?=[A-Za-z])', ...)

# replacing `StringIO(csv)` with `"mypath\test.csv"`

    Não :

    pd.read_csv(StringIO("mypath\test.csv"), sep=r';|,(?=[A-Za-z])', ...)

    que gera o erro mencionado no comentário :

    EmptyDataError: No columns to parse from file
    • 2

relate perguntas