Início / coding / Perguntas / 79342183
Accepted
ignoring_gravity
Asked: 2025-01-09 18:07:38 +0800 CST

DuckDBPyRelation do dicionário Python?

  • 772

Em Polars / pandas / PyArrow, posso instanciar um objeto de um dict, por exemplo

In [12]: pl.DataFrame({'a': [1,2,3], 'b': [4,5,6]})
Out[12]:
shape: (3, 2)
┌─────┬─────┐
│ a   ┆ b   │
│ --- ┆ --- │
│ i64 ┆ i64 │
╞═════╪═════╡
│ 1   ┆ 4   │
│ 2   ┆ 5   │
│ 3   ┆ 6   │
└─────┴─────┘

Existe uma maneira de fazer isso no DuckDB, sem passar pelo pandas / pyarrow / etc.?

python

1 respostas

  1. Best Answer

    duckdbapresenta uma função duckdb.read_jsonque deve fazer isso simplesmente transmitindo o dictcomo uma string json, mas nenhuma combinação de seus vários parâmetros fará com que ele leia isso dictda mesma forma polars, infelizmente. Você pode reorganizar o dictpara corresponder à estrutura esperada para um formato json "não estruturado" na documentação deles com bastante facilidade e, em seguida, usar a duckdb.read_jsonfunção para carregá-lo da mesma forma que polars, que eu acho que é o mais próximo que você pode chegar da biblioteca como ela está atualmente.

    Aqui está uma demonstração que mostra a polarsinterpretação que esperávamos, a duckdbinterpretação ingênua que provavelmente não esperávamos e a transformação necessária para carregá-la como polarsfizemos:

    import polars
import duckdb
import io
import json
# Silent requirement for fsspec

data = {'a': [1,2,3], 'b': [4,5,6]}
polars_data = polars.DataFrame(data)
print('polars\' interpretation:')
print(polars_data)

duckdb_data = duckdb.read_json(io.StringIO(json.dumps(data)))
print('duckdb \'s naive interpretation:')
print(duckdb_data)

def transform_to_duckjson(dictdata: dict):
    return [{fieldname: fieldrecords[recordnum] for fieldname, fieldrecords in dictdata.items()} for recordnum in range(len(dictdata[next(iter(dictdata.keys()))]))]

duckdb_data2 = duckdb.read_json(io.StringIO(json.dumps(transform_to_duckjson(data))))
print('duckdb \'s interpretation after adjustment:')
print(duckdb_data2)

    O que me dá a seguinte saída:

    polars' interpretation:
shape: (3, 2)
┌─────┬─────┐
│ a   ┆ b   │
│ --- ┆ --- │
│ i64 ┆ i64 │
╞═════╪═════╡
│ 1   ┆ 4   │
│ 2   ┆ 5   │
│ 3   ┆ 6   │
└─────┴─────┘
duckdb 's naive interpretation:
┌───────────┬───────────┐
│     a     │     b     │
│  int64[]  │  int64[]  │
├───────────┼───────────┤
│ [1, 2, 3] │ [4, 5, 6] │
└───────────┴───────────┘

duckdb 's interpretation after adjustment:
┌───────┬───────┐
│   a   │   b   │
│ int64 │ int64 │
├───────┼───────┤
│     1 │     4 │
│     2 │     5 │
│     3 │     6 │
└───────┴───────┘

    Observação: aqui está a referência da API Python (role para baixo até "read_csv(..." para obter as informações relevantes), que infelizmente não fornece nenhuma ajuda para usar a função.

    Entre em contato se tiver alguma dúvida.

    • 1

relate perguntas