主页 / coding / 问题 / 77850645
Accepted
Mikko Ohtamaa
Asked: 2024-01-20 18:33:39 +0800 CST

对 PyArrow Parquet 文件进行分区并将其排序写入数据集

  • 772

我有一个 PyArrow Parquet 文件太大，无法在内存中处理。由于数据可以轻松分区到不同的分片中，因此我想手动对其进行分区并从文件中创建一个 PyArrow 数据集。当我进行分区时，分区内的行本身需要重新排序，以便可以按自然顺序迭代数据。

这是一个相关的架构片段。分区键是chain_id：

pa.schema([
    ("chain_id", pa.uint32()),
    ("pair_id", pa.uint64()),
    ("block_number", pa.uint32()),
    ("timestamp", pa.timestamp("s")),
    ("tx_hash", pa.binary(32)),
    ("log_index", pa.uint32()),
])

我打算使用它的过程

  • 预先确定分区 ID（chain_id在上面的架构中）
  • 打开一个新的数据集进行写入
  • 对于每个分区 ID
    • 创建内存中的临时 PyArrow 表
    • 读取（批量迭代）源 Parquet 文件
      • 识别属于该分区的行并将它们添加到内存表中
    • 对内存中的行进行排序
    • 将表附加到数据集

然而，PyArrow 上有关FileSystemDataset的文档很薄弱。我的问题是

  • FilesystemDataset假设表是分区本身的全部内容，如何将完整表添加到 a 中？
  • 是否有任何现有工具可以将 (PyArrow) Parquet 文件分区为数据集，而无需编写手动脚本？
  • pyarrow.dataset.FileSystemDataset假设我想始终以插入的预排序顺序读取数据，会提供什么样的排序保证to_batches？
  • 还有其他 PyArrwo 技巧可以处理不适合 RAM 的数据和数据集吗？
parquet

1 个回答

  1. Best Answer

    我建议使用数据集api。它可以在不加载的情况下进行过滤chain_id，并写入分区。数据集读取确实保持顺序。

    我自己的分区实用程序与您需要的类似。它不提供排序，但可以进行调整或提供想法。

    • 1

相关问题