Com base neste post , consegui resolver o problema de desempenho adicionando índices e pensei que concluí meu projeto até encontrar um problema com a soma de verificação ... descobriu que o checksum e o binary_checksum não são confiáveis em um ambiente crítico do sistema .
Estou procurando uma maneira confiável de calcular dados para uma tabela em uma loja e depois compará-los com a mesma tabela na sede.
Conforme explicado no post mencionado acima, os arquivos de dados são transferidos de várias lojas (transações) para a sede à medida que acontecem. Para cada loja, a mesa em questão é bem grande. Na sede, essa mesma tabela contém as mesmas informações de todas as lojas, o que a torna enorme. Os dados são transferidos por meio de arquivos, pois não há conexões diretas entre o HO e as lojas. Idealmente, seria ótimo se eu pudesse transferir todos os dados da loja, linha por linha, e compará-los com a tabela da matriz, mas é impensável, pois é muito grande.
Tentei usar a HASHBYTESconversão de colunas para strings, mas descobri que tem uma limitação de 8.000 caracteres até o SQL Server 2014. Nossos sistemas precisam suportar qualquer versão do SQL Server de 2008 até hoje.
Estou tentando encontrar uma maneira confiável de obter algum tipo de valor de soma de verificação agregado que possa ser comparado entre cada loja e sua matriz_escritório tabela por tabela.
ATUALIZAÇÃO: Já tentei usar o Hashbyte mas no meu caso não funciona pois não estou comparando linha por linha devido a quantidade de dados entre cada loja e a matriz. Exemplo: se uma loja tiver 100.000 linhas para uma tabela, a matriz que teria as informações de 10 lojas conteria 1.000.000 linhas nessa mesma tabela... Não consigo enviar todas as linhas da loja para o sede apenas para comparar e certificar-se de que todos os dados foram transferidos com sucesso. Então minha forma de pensar é agregar as informações da loja por data e comparar com a mesma agregação para a mesma loja na matriz e se eu encontrar uma incompatibilidade, tenho um processo que é acionado para solicitar as informações da loja para uma data específica à sede.
Fiquei tão feliz em encontrar o Checksum_agg de um checksum, que fez exatamente isso...
Alguma outra ideia? alguém?
A solução que me ajudou a resolver esse dilema foi usar os hashbytes com SHA2_256 que foi então convertido para um bigint seguido de uma conversão para um float para finalmente ser resumido.
Observe que a conversão de varbinary para bigint pode ser perigosa, mas no meu caso foi aceitável. a conversão diretamente de varbinary para float não é suportada... e resumir muitos registros com um bigint não foi suficiente devido a um estouro... daí a razão para converter o bigint em um float.