Início / coding / Perguntas / 77382093
Accepted
JohnS
Asked: 2023-10-29 13:20:45 +0800 CST

Pesquise em arquivo txt com mais de 3 milhões de linhas em C#

  • 772

Tenho vários arquivos txt e cada arquivo contém mais de 3 milhões de linhas. Cada linha contém conexões do cliente e há ID do cliente, endereço IP....

Preciso encontrar um endereço IP específico e obter o ID do cliente relacionado a ele.

Eu li o arquivo e divido em um array e procuro em cada linha por foreach, mas como são muitas linhas, ocorre o erro abaixo.

Exceção do tipo 'System.OutOfMemoryException' foi lançada.

Devo descompactar arquivos txt, pois eles estão compactados. Eu uso o código abaixo:

string decompressTxt = decompressTxt = this.Decompress(new FileInfo(filePath));
char[] delRow = { '\n' };
string[] rows = decompressTxt.Split(delRow);
for (int i = 0; i < rows.Length; i++){
   if(rows[i].Contains(ip)){
    
   }
}

string Decompress(FileInfo fileToDecompress)
{
   string newFileName = "";
   string newFIleText = "";
   using (FileStream originalFileStream =fileToDecompress.OpenRead())
   {
        string currentFileName = fileToDecompress.FullName;
        newFileName = currentFileName.Remove(currentFileName.Length - fileToDecompress.Extension.Length);
    
        using (FileStream decompressedFileStream = File.Create(newFileName))
        {
               using (GZipStream decompressionStream = new GZipStream(originalFileStream, CompressionMode.Decompress))
               {             
                  decompressionStream.CopyTo(decompressedFileStream);
               }
         }
    
         newFIleText = File.ReadAllText(newFileName);
         File.Delete(newFileName);
    }
    return newFIleText;
}
c#

3 respostas

  1. Best Answer

    Ok, então há muitas coisas que você está fazendo que não são necessárias, mesmo antes de chegarmos a como você está ficando sem memória.

    Primeiro, você não precisa de um arquivo intermediário para descompactar, apenas leia GZipStream diretamente. Mas espere, você achou que precisava usar File.ReadAllTextpara ler texto e é por isso que descompacta o arquivo primeiro?

    Isso é desnecessário. Quando você quiser ler o texto de um fluxo, basta usar a StreamReaderpara fazer isso (é o que File.ReadAllTexté usado abaixo).

    O leitor também pode ser usado para ler linha por linha sem a necessidade de caber o arquivo inteiro na memória, apenas cada linha individual, uma de cada vez. Basta ligar ReadLine()até que ele retorne null.

    Juntando tudo, aqui está o código que descompacta os dados e os lê uma linha por vez, sem precisar dividir nada. Ele não apenas é dimensionado com arquivos muito grandes, mas também é muito mais rápido.

    using var stream = new GZipStream(fileToDecompress.OpenRead(), CompressionMode.Decompress);
using var reader = new StreamReader(stream);

string? line;
while ((line = reader.ReadLine()) != null)
{
     if (line.Contains(ip))
     {
         // etc.
     }
}
    • 4

  2. Você precisa processar seu arquivo como um número de linhas. Não copie para outro MemoryStreamnem copie em uma string. StreamReaderpode processá-lo linha por linha.

    Você definitivamente não precisa de outro arquivo para descompactá-lo e depois lê-lo novamente.

    No total, você não precisará manter o arquivo inteiro na memória de uma só vez.

    foreach (var decompressTxt in this.Decompress(new FileInfo(filePath)))
{
    if(decompressTxt.Contains(ip))
    {
          // do stuff
    }
}

    IEnumerable<string> Decompress(FileInfo fileToDecompress)
{
    using var originalFileStream = fileToDecompress.OpenRead();
    using var decompressionStream = new GZipStream(originalFileStream, CompressionMode.Decompress);
    using var reader = new StreamReader(decompressionStream);
    string s;
    while ((s = reader.ReadLine()) != null)
    {
        yield return s;
    }
}

    Existem métodos ainda mais eficientes, como dividir os dados em blocos de bytes, mas isso é significativamente mais complexo.

    Você provavelmente também deveria pensar sobre asynce sobre codificação.

    • 0

  3. Você não precisa armazenar o arquivo inteiro na memória ou mesmo em um novo arquivo.

        string FindCustomer(FileInfo fileToDecompress, string ip)
{
    using var originalFileStream = fileToDecompress.OpenRead();
    using var decompressionStream = new GZipStream(originalFileStream, CompressionMode.Decompress);
    using var reader = new StreamReader(decompressionStream);
    string row ;
    while ((row = reader.ReadLine()) != null)
    {
        if(row.Contains(ip))
          {
           return row;
          }
    }
    return "";
}
    • -1

relate perguntas