主页 / user-315168

Mikko Ohtamaa's questions

Martin Hope
Mikko Ohtamaa
Asked: 2024-04-20 22:25:01 +0800 CST
  • 5

当我运行 SvelteKit vite 开发服务器时，npm run dev尝试打开页面时出现错误：

RollupError: Unexpected token `,`. Expected identifier or string
    at getRollupError (file:///Users/moo/code/frentek/node_modules/rollup/dist/es/shared/parseAst.js:392:41)
    at ParseError.initialise (file:///Users/moo/code/frentek/node_modules/rollup/dist/es/shared/node-entry.js:11170:28)
    at convertNode (file:///Users/moo/code/frentek/node_modules/rollup/dist/es/shared/node-entry.js:12915:10)
    at convertProgram (file:///Users/moo/code/frentek/node_modules/rollup/dist/es/shared/node-entry.js:12232:12)
    at Module.setSource (file:///Users/moo/code/frentek/node_modules/rollup/dist/es/shared/node-entry.js:14076:24)
    at async ModuleLoader.addModuleSource (file:///Users/moo/code/frentek/node_modules/rollup/dist/es/shared/node-entry.js:18729:13)

在此输入图像描述

但Vite并没有透露问题出在哪里。

同样的错误消息没有npm run build更多信息。

如何找到有解析错误的有问题的 Svelte 文件？

vite
Martin Hope
Mikko Ohtamaa
Asked: 2024-01-20 18:33:39 +0800 CST
  • 5

我有一个 PyArrow Parquet 文件太大，无法在内存中处理。由于数据可以轻松分区到不同的分片中，因此我想手动对其进行分区并从文件中创建一个 PyArrow 数据集。当我进行分区时，分区内的行本身需要重新排序，以便可以按自然顺序迭代数据。

这是一个相关的架构片段。分区键是chain_id：

pa.schema([
    ("chain_id", pa.uint32()),
    ("pair_id", pa.uint64()),
    ("block_number", pa.uint32()),
    ("timestamp", pa.timestamp("s")),
    ("tx_hash", pa.binary(32)),
    ("log_index", pa.uint32()),
])

我打算使用它的过程

  • 预先确定分区 ID（chain_id在上面的架构中）
  • 打开一个新的数据集进行写入
  • 对于每个分区 ID
    • 创建内存中的临时 PyArrow 表
    • 读取（批量迭代）源 Parquet 文件
      • 识别属于该分区的行并将它们添加到内存表中
    • 对内存中的行进行排序
    • 将表附加到数据集

然而，PyArrow 上有关FileSystemDataset的文档很薄弱。我的问题是

  • FilesystemDataset假设表是分区本身的全部内容，如何将完整表添加到 a 中？
  • 是否有任何现有工具可以将 (PyArrow) Parquet 文件分区为数据集，而无需编写手动脚本？
  • pyarrow.dataset.FileSystemDataset假设我想始终以插入的预排序顺序读取数据，会提供什么样的排序保证to_batches？
  • 还有其他 PyArrwo 技巧可以处理不适合 RAM 的数据和数据集吗？
parquet