SSIS detectando duplicatas sequenciais

Os valores das variáveis ​​SSIS só podem ser modificados na fase OnPreExecutede OnPostExecuteexecução do pipeline. Durante a execução, eles são estáticos.

Você pode verificar esse comportamento adicionando uma coluna ao fluxo de dados com uma tarefa de coluna derivada e usar adicionar sua variável @[User::lastName]após a tarefa de script. Você verá que o valor nunca muda entre a primeira e a última linha.

Portanto, você tem um erro lógico com este snippet

(Name == @[User::lastName] && Company == @[User::lastCompany])

Então, o que você faz?

O maior desafio, claro, é que você tem um arquivo de 330 milhões de linhas.

Se nos preocupamos apenas com duplicatas sequenciais, uma tarefa de script conforme você projetou está correta, exceto tentar atribuir às variáveis ​​do SSIS. Em vez disso, você precisará adicionar colunas ao fluxo de dados para que sua divisão condicional subsequente possa fazer uma escolha lógica. Para um trabalho normal, eu ficaria bem em adicionar um lastName e lastCompany ao buffer de dados. No entanto, como você trabalhará em grandes conjuntos de dados, precisará lutar por cada fragmento de memória que conseguir. Em vez disso, eu executaria a lógica de comparação em sua tarefa de script e simplesmente emitiria um booleano indicando se essa linha é uma duplicata da linha anterior.

Eu teria uma Tarefa de Script, agindo como uma transformação após sua fonte de arquivo. Levaria como colunas de entrada somente leitura Companye Nameadicionaria uma nova coluna à saída chamadaIsDuplicate

using System;
using System.Data;
using Microsoft.SqlServer.Dts.Pipeline.Wrapper;
using Microsoft.SqlServer.Dts.Runtime.Wrapper;

[Microsoft.SqlServer.Dts.Pipeline.SSISScriptComponentEntryPointAttribute]
public class ScriptMain : UserComponent
{
    // member variables to keep track of previous row data
    private string lastName;
    private string lastCompany;

    public override void PreExecute()
    {
        base.PreExecute();
        // initialize our variables
        this.lastCompany = "";
        this.lastName = "";
    }

    public override void Input0_ProcessInputRow(Input0Buffer Row)
    {
        // Encapsulate the logic from the Derived Column comparison here 
        //
        // Are the two elements the same?
        // Do we have to worry about nulls here? Assuming not
        // Also assuming a case sensitive match is desired
        if (Row.Company == this.lastCompany && Row.Name == this.lastName)
        {
            Row.IsDuplicate = true;
        }
        else
        {
            // strictly speaking, this is not required as the default value for a bit if false but I favor explicit behaviour
            Row.IsDuplicate = false;
        }

        // Update the member variables to the previous row's data
        this.lastName = Row.Name;
        this.lastCompany = Row.Company;
    }
}

Agora você pode simplificar sua Divisão Condicional para a condição de nossa coluna IsDuplicate. Eu encaminhei todas as linhas correspondentes para uma saída chamada "Duplicação sequencial" e meu caminho padrão é chamado de "Primeira linha ou linhas não duplicadas". Mais uma vez, tento ser o mais óbvio com minha intenção para que eu possa colocar meu cérebro de volta no jogo quando tiver que mantê-lo.

Isso resulta em meu fluxo de dados parecendo