Início / dba / Perguntas / 334247
Accepted
J. Mini
Asked: 2023-12-21 19:02:47 +0800 CST

O SSIS pode ler os resultados de um procedimento armazenado e gravá-los em CSV, sem preencher uma tabela?

  • 772

Meu fluxo de trabalho atual é o seguinte:

  1. Uma tarefa 'Executar tarefa SQL' executa um procedimento armazenado que preenche uma tabela.

  2. Depois disso, uma tarefa 'Dataflow Task' faz o seguinte:

    2A. Leia cada linha desta tabela por meio de um 'Componente Dataflow' que usa OpenRowset.
    2B. Passa isso para outro componente do Dataflow que faz algumas conversões.
    2C. Grava os resultados em CSV.

A passagem da Etapa 1 para a Etapa 2A parece redundante, pois a tabela no servidor nunca mais é usada. Gostaria de fazer com que o procedimento armazenado retornasse as linhas que ele gravaria na tabela e que o fluxo as usasse em vez de ler a tabela. Isso é possível?

sql-server

1 respostas

  1. Best Answer

    Na verdade, posso ter complicado demais a solução abaixo. Você não pode simplesmente definir a fonte de dados em seu fluxo de dados Data access mode = SQL commande EXEC youProcedureceder SQL command text? Se você precisar fornecer parâmetros não estáticos para o procedimento, use Data access mode = SQL command from variablee construa a string SQL em seu fluxo de controle (usando uma tarefa de expressão) antes de chamar o fluxo de dados?

    (isso pressupõe um gerenciador de conexões OleDB, pode haver pequenas alterações necessárias para outras fontes)

    • Crie uma variável com escopo de pacote do tipo Object.
    • Configure sua tarefa Executar SQL com ResultSet = Full result set.
    • Na guia Conjunto de resultados do mapa de configuração da tarefa SQL Result Name = 0para a variável criada acima.

    Após a execução desta etapa, a variável conterá o conjunto de resultados completo.

    Na sua tarefa de fluxo de dados subsequente:

    • Adicione uma tarefa de script que seja uma Origem, para substituir sua fonte que lê a tabela intermediária no banco de dados. Você precisará definir todas as colunas de saída esperadas na guia Entradas/Saídas. Dê a ela sua variável do tipo Object como uma variável somente leitura.
    • No código do script, adicione using System.Data;e using System.Data.OleDb;em seus namespaces.
    • No CreateNewOutputRows()método, copie o conjunto de resultados para um DataTable assim:
            DataTable sprocResult = new DataTable();
        OleDbDataAdapter populateTable = new OleDbDataAdapter();
        populateTable.Fill(sprocResult, Variables.SQLTaskOutputVariable);
    • então você pode iterar com foreach (DataRow r in sprocResult.Rows), adicionar uma linha ao fluxo de saída em cada iteração do loop com OutputRowsBuffer.AddRow()(alterar o nome para corresponder à saída definida acima) e definir valores com OutputRowsBuffer.<columnname> = r["<columnname>"];ouOutputRowsBuffer.<columnname>_IsNull = true;
    • Após esse loop, chame RejectedRowsBuffer.SetEndOfRowset();.

    Existem algumas variações dessa técnica, principalmente em torno do uso de métodos diferentes para interagir com o ResultSet no código C#.

    Isso será ineficiente para grandes conjuntos de dados (tanto em termos de memória usada quanto, em menor grau, de tempo de processamento) porque você está lendo um resultado estático no espaço de memória do SSIS na variável de objeto e, em seguida, copiando-o para o objeto DataTable em C#. Em vez disso, você poderia fazer com que o script de origem interagisse diretamente com o banco de dados (passá-lo ao gerenciador de conexões e fazer com que ele se conectasse e executasse o procedimento) - dessa forma, os dados serão transmitidos do procedimento armazenado para o seu fluxo de dados sem precisar ser armazenados inteiramente no objeto na RAM entre.

    • 1

relate perguntas