Desejo manipular um grande conjunto de dados (> 1 bilhão de linhas) no SQL Server 2008 R2. Ouvi dizer que, se você configurar "fragmentação" ou "particionamento horizontal", será mais rápido lidar com grandes conjuntos de dados, pois divide as tabelas em vários arquivos.
Você já usou sharding ou particionamento horizontal antes? Em caso afirmativo, você poderia sugerir algum padrão que, em sua experiência, alcance melhores resultados em comparação com uma única mesa massiva?
Imagine um fluxo de dados que é "rajada", ou seja, pode ter 10.000 eventos chegando muito rapidamente, seguidos por nada por um minuto.
Seu conselho de especialista: como posso escrever o código de inserção C# para o SQL Server, de forma que haja uma garantia de que o SQL armazene tudo imediatamente em sua própria RAM, sem bloquear meu aplicativo por mais do que o necessário para alimentar os dados na referida RAM? Para conseguir isso, você conhece algum padrão de configuração do próprio servidor SQL ou padrões para configurar as tabelas SQL individuais nas quais estou escrevendo?
Claro, eu poderia fazer minha própria versão, que envolve construir minha própria fila na RAM - mas não quero reinventar o Machado de Pedra Paleolítico, por assim dizer.