主页 / coding / 问题 / 79342183
Accepted
ignoring_gravity
Asked: 2025-01-09 18:07:38 +0800 CST

关于python：来自Python字典的DuckDBPyRelation？

  • 772

在 Polars / pandas / PyArrow 中，我可以从字典中实例化一个对象，例如

In [12]: pl.DataFrame({'a': [1,2,3], 'b': [4,5,6]})
Out[12]:
shape: (3, 2)
┌─────┬─────┐
│ a   ┆ b   │
│ --- ┆ --- │
│ i64 ┆ i64 │
╞═════╪═════╡
│ 1   ┆ 4   │
│ 2   ┆ 5   │
│ 3   ┆ 6   │
└─────┴─────┘

有没有办法在 DuckDB 中做到这一点，而无需通过 pandas/pyarrow/等？

python

1 个回答

  1. Best Answer

    duckdb有一个函数duckdb.read_json，它应该通过简单地将 流式传输为 json 字符串来实现这一点，但不幸的是，它的各种参数组合都无法以相同的方式 dict读取。您可以非常轻松地重新排列 以匹配其文档中“非结构化”json 格式所期望的结构，然后使用函数以与 相同的方式加载它，我认为这是目前使用该库可以获得的最接近的结果。dictpolarsdictduckdb.read_jsonpolars

    下面是一个演示，展示了polars我们期望的解释、我们可能没有想到的简单duckdb解释以及像那样加载它所需的转换polars：

    import polars
import duckdb
import io
import json
# Silent requirement for fsspec

data = {'a': [1,2,3], 'b': [4,5,6]}
polars_data = polars.DataFrame(data)
print('polars\' interpretation:')
print(polars_data)

duckdb_data = duckdb.read_json(io.StringIO(json.dumps(data)))
print('duckdb \'s naive interpretation:')
print(duckdb_data)

def transform_to_duckjson(dictdata: dict):
    return [{fieldname: fieldrecords[recordnum] for fieldname, fieldrecords in dictdata.items()} for recordnum in range(len(dictdata[next(iter(dictdata.keys()))]))]

duckdb_data2 = duckdb.read_json(io.StringIO(json.dumps(transform_to_duckjson(data))))
print('duckdb \'s interpretation after adjustment:')
print(duckdb_data2)

    这给出了以下输出：

    polars' interpretation:
shape: (3, 2)
┌─────┬─────┐
│ a   ┆ b   │
│ --- ┆ --- │
│ i64 ┆ i64 │
╞═════╪═════╡
│ 1   ┆ 4   │
│ 2   ┆ 5   │
│ 3   ┆ 6   │
└─────┴─────┘
duckdb 's naive interpretation:
┌───────────┬───────────┐
│     a     │     b     │
│  int64[]  │  int64[]  │
├───────────┼───────────┤
│ [1, 2, 3] │ [4, 5, 6] │
└───────────┴───────────┘

duckdb 's interpretation after adjustment:
┌───────┬───────┐
│   a   │   b   │
│ int64 │ int64 │
├───────┼───────┤
│     1 │     4 │
│     2 │     5 │
│     3 │     6 │
└───────┴───────┘

    需要注意的是：这是python api 参考（向下滚动到“read_csv(...”获取相关信息），但不幸的是，它对使用该函数根本没有提供任何帮助。

    如果您有任何疑问，请告诉我。

    • 1

相关问题