主页 / coding / 问题 / 79485770
Accepted
sam
Asked: 2025-03-05 15:54:47 +0800 CST

Rails：如何将 1 亿条记录导出为 CSV

  • 772

我想在 rake 任务中将我的销售数据导出到 CSV 文件。销售表大约有 1 亿个条目。我该如何优化此代码？它运行的时间越长，速度似乎就越慢。

sales = Sales.where(year: 2024)
BATCH_SIZE = 10_000
header_names = %w[user_id article_id amount currency date]
batch = []
File.open(filepath, 'w') do |file|
  sales.find_each(batch_size: BATCH_SIZE)do |sale|
    batch << sale.slice(*header_names).values.join(';')
    if batch.size >= BATCH_SIZE

      file.puts batch.join("\n")
      batch.clear
    end
  end
  file.puts batch.join("\n") unless batch.empty?
end

这花了我大约 23 分钟来导出 1700 万个条目。

ruby-on-rails

2 个回答

  1. Best Answer

    最好使用原始 SQL（PostgreSQL 示例）而不是 Ruby

    速度更快

    基本思想

    require 'csv'

connection = ActiveRecord::Base.connection.raw_connection
attributes = %i[user_id article_id amount currency date]
data_query = Sales.select(*attributes).where(year: 2024).to_sql
sql_query = "COPY (#{data_query}) TO STDOUT WITH CSV"

File.open(filepath, 'w') do |file|
  file.puts(attributes.to_csv)

  connection.copy_data(sql_query) do
    while (row = connection.get_copy_data)
      file.puts(row)
    end
  end
end

    在这种情况下，你不会启动 Active Record 对象

    数据直接写入文件，而不是构建大型内存数组

    对于自定义分隔符

    COPY (#{data_query}) TO STDOUT WITH CSV DELIMITER ';'
    • 3

  2. 如果你能直接访问数据库，最好最快的方法是使用COPY数据库提供的命令。以 PostgreSQL 的COPY为例：

    COPY (SELECT user_id, article_id, amount, currency, date 
      FROM sales 
      WHERE year = 2024) 
TO '/path/to/file.csv' 
WITH CSV DELIMITER ';' HEADER;

    如果您不能直接访问数据库或者更喜欢使用 Ruby 代码，则可以通过以下方式改进：

    # The CSV library is optimized for write csv file
require 'csv'

BATCH_SIZE = 10_000
filepath = "sales_export_#{Time.now.strftime('%Y%m%d_%H%M%S')}.csv"
header_names = %w[user_id article_id amount currency date]

CSV.open(filepath, 'w', col_sep: ';') do |csv|
  csv << header_names

  Sales.where(year: 2024)
       .select(header_names) # Only select needed columns
       .find_each(batch_size: BATCH_SIZE) do |sale|
    csv << header_names.map { |attr| sale[attr] }
  end
end
    • -1

相关问题