Início / coding / Perguntas / 79597604
Accepted
RKIDEV
Asked: 2025-04-29 12:26:20 +0800 CST

Mesclar mais de 2 dataframes se eles existirem e forem inicializados

  • 772

Estou tentando mesclar três dataframes usando intersection(). Como podemos verificar se todos os dataframes existem/foram inicializados antes de executar intersection() sem vários blocos de verificação if-else? Se algum dataframe não estiver atribuído, não o assuma durante a execução de intersection(). Às vezes, recebo o erro - UnboundLocalError: variável local 'df_2' referenciada antes da atribuição , porque o arquivo2 não existe.

OU existe alguma outra maneira fácil de conseguir isso?

Abaixo está minha abordagem:

if os.path.exists(file1):
        df_1 = pd.read_csv(file1, header=None, names=header_1, sep=',', index_col=None)
if os.path.exists(file2):
        df_2 = pd.read_csv(file2, header=None, names=header_2, sep=',', index_col=None)
if os.path.exists(file3):
        df_3 = pd.read_csv(file3, header=None, names=header_3, sep=',', index_col=None)

common_columns = df_1.columns.intersection(df_2.columns).intersection(df_3.columns)
filtered_1 = df_1[common_columns]
filtered_2 = df_2[common_columns]
filtered_3 = df_3[common_columns]
concatenated_df = pd.concat([filtered_1, filtered_2, filtered_3], ignore_index=True)
python

2 respostas

  1. Best Answer

    Seu código já está muito bom. Você tem muitos elementos repetidos na sua versão atual. Para torná-lo mais limpo, você pode usar compreensão de lista como[function(x) for x in a_list]

    files = [file1, file2, file3]
headers = [header_1, header_2, header_3]

dfs = [pd.read_csv(f, header=None, names=h, sep=',') for f, h in zip(files, headers) if os.path.exists(f)]

if dfs:
    common_columns = set.intersection(*(set(df.columns) for df in dfs))
    concatenated_df = pd.concat([df[list(common_columns)] for df in dfs], ignore_index=True)
else:
    concatenated_df = pd.DataFrame()
    • 1

  2. Ao lidar com arquivos que nem sempre estão disponíveis, você pode usar esta abordagem para mesclar DataFrames existentes com segurança, sem erros de inicialização. A solução carrega dinamicamente os dados disponíveis, identifica colunas comuns em todos os conjuntos de dados carregados com sucesso e os mescla automaticamente:

    import os
import pandas as pd
from functools import reduce

# Update these with your actual file paths and column headers
file_config = [
    ('data/source1.csv', ['id', 'name', 'date']),
    ('data/source2.csv', ['id', 'value', 'date']),
    ('data/source3.csv', ['id', 'category', 'notes'])
]

def safe_dataframe_merge():
    """Handles DataFrame merging with missing file tolerance"""
    loaded_sets = []
    
    # Load available files
    for path, headers in file_config:
        if os.path.exists(path):
            loaded_sets.append(
                pd.read_csv(path, header=None, names=headers)
            )
    
    # Exit early if no data found
    if not loaded_sets:
        return pd.DataFrame()
    
    # Find columns common to all loaded DataFrames
    common_fields = reduce(
        lambda x, y: x.intersection(y),
        (df.columns for df in loaded_sets)
    )
    
    # Combine data while preserving structure
    return pd.concat(
        [df[common_fields] for df in loaded_sets],
        ignore_index=True
    )

# Usage example
merged_data = safe_dataframe_merge()

    Esta implementação verifica a existência do arquivo antes do carregamento, ignora completamente quaisquer fontes ausentes e garante que apenas as colunas presentes em todos os conjuntos de dados disponíveis sejam mescladas. A reduceoperação encontra com eficiência colunas comuns entre todos os DataFrames carregados, enquanto a abordagem baseada em lista evita erros de referência a variáveis ​​não inicializadas. Se nenhum dos arquivos existir, ele retorna um DataFrame vazio em vez de gerar erros. Você pode modificar a file_configlista para adicionar ou remover fontes de dados sem alterar a lógica principal.

    • 0

relate perguntas