Início / user-315168

Mikko Ohtamaa's questions

Martin Hope
Mikko Ohtamaa
Asked: 2024-04-20 22:25:01 +0800 CST
  • 5

Quando estou executando o servidor de desenvolvimento SvelteKit vite, npm run devrecebo um erro ao tentar abrir uma página:

RollupError: Unexpected token `,`. Expected identifier or string
    at getRollupError (file:///Users/moo/code/frentek/node_modules/rollup/dist/es/shared/parseAst.js:392:41)
    at ParseError.initialise (file:///Users/moo/code/frentek/node_modules/rollup/dist/es/shared/node-entry.js:11170:28)
    at convertNode (file:///Users/moo/code/frentek/node_modules/rollup/dist/es/shared/node-entry.js:12915:10)
    at convertProgram (file:///Users/moo/code/frentek/node_modules/rollup/dist/es/shared/node-entry.js:12232:12)
    at Module.setSource (file:///Users/moo/code/frentek/node_modules/rollup/dist/es/shared/node-entry.js:14076:24)
    at async ModuleLoader.addModuleSource (file:///Users/moo/code/frentek/node_modules/rollup/dist/es/shared/node-entry.js:18729:13)

insira a descrição da imagem aqui

Porém Vite não informa onde o problema acontece.

A mesma mensagem de erro ocorre npm run buildsem mais informações.

Como posso localizar o arquivo Svelte problemático com um erro de análise?

vite
Martin Hope
Mikko Ohtamaa
Asked: 2024-01-20 18:33:39 +0800 CST
  • 5

Eu tenho um arquivo PyArrow Parquet que é muito grande para ser processado na memória. Como os dados podem ser facilmente particionados em diferentes fragmentos, gostaria de particioná-los manualmente e criar um conjunto de dados PyArrow a partir do arquivo. Enquanto estou particionando, as linhas dentro da partição precisam ser reordenadas, para que a iteração dos dados possa ser feita em ordem natural.

Aqui está um trecho de esquema, se for relevante. A chave de particionamento é chain_id:

pa.schema([
    ("chain_id", pa.uint32()),
    ("pair_id", pa.uint64()),
    ("block_number", pa.uint32()),
    ("timestamp", pa.timestamp("s")),
    ("tx_hash", pa.binary(32)),
    ("log_index", pa.uint32()),
])

O processo que eu estava planejando usar

  • Determine os IDs das partições antecipadamente ( chain_idno esquema acima)
  • Abra um novo conjunto de dados para gravação
  • Para cada ID de partição
    • Crie uma tabela PyArrow temporária na memória
    • Leia (itere em lotes) o arquivo Parquet de origem
      • Identifique as linhas pertencentes a esta partição e adicione-as à tabela na memória
    • Classifique as linhas na memória
    • Anexar tabela ao conjunto de dados

No entanto, a documentação sobre FileSystemDataset no PyArrow é escassa. Minha pergunta ao longo das linhas é

  • Como adiciono tabelas completas a a FilesystemDataset, assumindo que a tabela é todo o conteúdo de uma partição?
  • Existe alguma ferramenta existente para particionar arquivos Parquet (PyArrow) em conjuntos de dados, sem a necessidade de escrever um script manual?
  • Que tipo de garantia de pedido pyarrow.dataset.FileSystemDatasetoferece, supondo que eu queira sempre ler os dados na ordem pré-classificada inserida to_batches?
  • Alguma outra dica do PyArrwo sobre dados e conjuntos de dados que não cabem na RAM?
parquet