Início / coding / Perguntas / 79485770
Accepted
sam
Asked: 2025-03-05 15:54:47 +0800 CST

Rails: Como exportar 100 milhões de registros para CSV

  • 772

Quero exportar meus dados de vendas para um arquivo CSV em uma tarefa rake. A tabela de vendas tem aproximadamente 100 milhões de entradas. Como posso otimizar esse código? Ele parece ficar mais lento quanto mais tempo é executado.

sales = Sales.where(year: 2024)
BATCH_SIZE = 10_000
header_names = %w[user_id article_id amount currency date]
batch = []
File.open(filepath, 'w') do |file|
  sales.find_each(batch_size: BATCH_SIZE)do |sale|
    batch << sale.slice(*header_names).values.join(';')
    if batch.size >= BATCH_SIZE

      file.puts batch.join("\n")
      batch.clear
    end
  end
  file.puts batch.join("\n") unless batch.empty?
end

Isso me leva aproximadamente 23 minutos para exportar 17 milhões de entradas.

ruby-on-rails

2 respostas

  1. Best Answer

    É melhor usar SQL bruto ( exemplo PostgreSQL ) para isso em vez de Ruby

    É mais rápido

    Ideia básica

    require 'csv'

connection = ActiveRecord::Base.connection.raw_connection
attributes = %i[user_id article_id amount currency date]
data_query = Sales.select(*attributes).where(year: 2024).to_sql
sql_query = "COPY (#{data_query}) TO STDOUT WITH CSV"

File.open(filepath, 'w') do |file|
  file.puts(attributes.to_csv)

  connection.copy_data(sql_query) do
    while (row = connection.get_copy_data)
      file.puts(row)
    end
  end
end

    Neste caso você não inicia objetos do Active Record

    Os dados são gravados diretamente no arquivo em vez de criar grandes matrizes na memória

    Para delimitador personalizado

    COPY (#{data_query}) TO STDOUT WITH CSV DELIMITER ';'
    • 3

  2. Se você puder acessar o banco de dados diretamente, a melhor e mais rápida maneira é usar o COPYcomando fornecido pelo banco de dados. Tomando o COPY do PostgreSQL como exemplo:

    COPY (SELECT user_id, article_id, amount, currency, date 
      FROM sales 
      WHERE year = 2024) 
TO '/path/to/file.csv' 
WITH CSV DELIMITER ';' HEADER;

    Se você não consegue acessar o banco de dados diretamente ou prefere o código Ruby, você pode melhorar:

    # The CSV library is optimized for write csv file
require 'csv'

BATCH_SIZE = 10_000
filepath = "sales_export_#{Time.now.strftime('%Y%m%d_%H%M%S')}.csv"
header_names = %w[user_id article_id amount currency date]

CSV.open(filepath, 'w', col_sep: ';') do |csv|
  csv << header_names

  Sales.where(year: 2024)
       .select(header_names) # Only select needed columns
       .find_each(batch_size: BATCH_SIZE) do |sale|
    csv << header_names.map { |attr| sale[attr] }
  end
end
    • -1

relate perguntas