Importar csv diário com vários cabeçalhos disponíveis

Eu faria assim:

1. Existe alguma tabela de trabalho onde os dados devem ser colocados. Ele contém colunas para todos os dados que podem estar presentes em CSVs, com nomes próprios e tipos de dados.

2. Crie uma tabela de nomes com 2 colunas: nome da coluna usada no CSV; de acordo com o nome da coluna na tabela de trabalho. Curti

CSV_name    | table_name
------------|-----------
ID          | id
user_id     | id
Employee_id | id
name        | first_name
FirstName   | first_name
...         | ...

Cada coluna é definida como única.

3. Crie um procedimento que:

• Carrega a primeira linha do arquivo CSV (o arquivo é renomeado para algum nome pré-definido ou é obtido como um parâmetro), analisa-o para separar nomes, depois os adiciona em CSV_name ignorando erros duplicados e conta a quantidade de nomes na tabela de nomes com NULL em table_name.

• Se houver linhas CSV_name com table_name IS NULL, o procedimento digitará uma mensagem e interromperá. O operador procura a tabela de nomes e preenche a coluna table_name com os valores correspondentes e, em seguida, chama o procedimento novamente.

• Se todos os CSV_names tiverem de acordo com o table_name, o procedimento criará uma tabela temporária e carregará todos os dados nela. Após o carregamento dos dados, o procedimento cria o texto da consulta INSERT INTO e copia os dados na tabela de trabalho. Alternativamente, o texto de consulta de importação correto pode ser criado/executado em uma etapa.

Considere um cenário simplificado com dois arquivos diferentes, cada um contendo diferentes subconjuntos de dados.

abc.csv:

a,b,c
1,a,a
2,b,b
3,c,c
4,d,d

abd.csv:

a,b,d
1,a,1
4,d,4
5,e,5
6,f,6

Agora, podemos usar o PowerShell para importar o arquivo, as Selectcolunas para um número e ordem conhecidos e consistentes e exportá-lo de volta para um csv com arquivos previsíveis:

Import-Csv abc.csv | Select a,b,c,d,e,f,g | Export-Csv abc_cleansed.csv -NoTypeInformation
Import-Csv abd.csv | Select a,b,c,d,e,f,g | Export-Csv abd_cleansed.csv -NoTypeInformation

Isso produzirá dois novos arquivos que têm um formato de arquivo comum e previsível.

abc_cleansed.csv:

"a","b","c","d","e","f","g"
"1","a","a",,,,
"2","b","b",,,,
"3","c","c",,,,
"4","d","d",,,,

abd_cleansed.csv:

"a","b","c","d","e","f","g"
"1","a",,"1",,,
"4","d",,"4",,,
"5","e",,"5",,,
"6","f",,"6",,,

Nota: Eu omiti aspas duplas em meus arquivos csv iniciais, e o PowerShell também os adicionou de maneira útil. Você pode removê-los, mas IMHO esse é definitivamente um recurso benéfico para a qualidade dos dados.

Agora, você pode simplesmente construir um pipeline de dados onde você pega um arquivo de entrada, faz a conversão para limpar o formato e, em seguida, pega esses arquivos limpos para importá-los. Dependendo do seu processo, você pode fazer tudo isso em um único pacote SSIS ou criar processos separados de limpeza/importação de dados.

Boa noite amigo. Você já ouviu as boas notícias sobre DBATools?

Import-DbaCsvpode ser a função para você. Eu escrevi um patch um tempo atrás que detecta automaticamente e mapeia os nomes das colunas com base na origem e destino sob certas restrições. Pode ser exatamente o que você precisa.