主页 / user-15848470

GBPU's questions

Martin Hope
GBPU
Asked: 2024-11-12 05:03:15 +0800 CST
  • 6

我能够从 SQL 中读取带有空值的数据，除非创建了像这样的列NULL as col。这会导致 Rust 恐慌：

thread '<unnamed>' panicked at 'not implemented: MYSQL_TYPE_NULL', /__w/connector-x/connector-x/connectorx/src/sources/mysql/typesystem.rs:119:18
note: run with `RUST_BACKTRACE=1` environment variable to display a backtrace
pyo3_runtime.PanicException: not implemented: MYSQL_TYPE_NULL

这是有问题的查询：

SELECT
    col1 as col1_modified,
    col2 as col2_modified,
    col3 as col3_modified,
    col4,
    col5, col6, col7, col8,
    col9, col10,
    col11, col12, col13, col14, col15, col16,
    col17,
    null as bad_col,
    col19 as col19_modified
FROM my_schema.my_table 
WHERE cond = 1

bad_col 存在，但有时它的值不相关，因此我将其设置为 null 以用作指示。查询在替换为 时运行null as bad_col。bad_col然后我可以手动将其全部设置为 null。

有没有办法修复这个null as column_name破坏 polars 的 read_database_uri() 模式的问题？

python
Martin Hope
GBPU
Asked: 2024-10-11 07:35:59 +0800 CST
  • 8

我有一个极坐标 List[f64]，列为“a”。我想创建一个新的 List[f64]，列为“b”，它是 a 列中该行列表的最小值到最大值的序列，间隔为 0.5（含）。因此，对于列“a”列表中的行[0.0, 3.0, 2.0, 6.0, 2.0]，b 列中的值应为[0.0, 0.5, 1.0, 1.5, 2.0, 2.5, 3.0, 3.5, 4.0, 4.5, 5.0, 5.5, 6.0]。

这是我的解决方案，但是它有一个错误。

df = df.with_columns(
        pl.col("a").list.eval(
            pl.arange(pl.element().min(), pl.element().max(), 1)
            .append(pl.arange(pl.element().min(), pl.element().max(), 1) + 0.5)
            .append(pl.element().max())
            .append(pl.element().max() - 0.5)
            .unique()
            .sort(),
            parallel=True,
        )
        .alias("b")
    )

当 a 列的列表中仅包含 1 个唯一值时，它无法处理极端情况。由于 polars 似乎只有一个整数arange()函数，当我创建第二个列表并添加 0.5 时，如果只有一个唯一值，则会导致输出中有 2 个值，即实际看到的值和实际看到的值 - 0.5

这是一些玩具数据。列“a”包含列表，其中的最小值和最大值应用于定义序列的边界，即列“b”。

pl.DataFrame([
    pl.Series('a', [[4.0, 5.0, 3.0, 7.0, 0.0, 1.0, 6.0, 2.0], [2.0, 4.0, 3.0, 0.0, 1.0], [1.0, 2.0, 3.0, 0.0, 4.0], [1.0, 3.0, 2.0, 0.0], [1.0, 0.0]], dtype=pl.List(pl.Float64)),        
    pl.Series('b', [[0.0, 0.5, 1.0, 1.5, 2.0, 2.5, 3.0, 3.5, 4.0, 4.5, 5.0, 5.5, 6.0, 6.5, 7.0], [0.0, 0.5, 1.0, 1.5, 2.0, 2.5, 3.0, 3.5, 4.0], [0.0, 0.5, 1.0, 1.5, 2.0, 2.5, 3.0, 3.5, 4.0], [0.0, 0.5, 1.0, 1.5, 2.0, 2.5, 3.0], [0.0, 0.5, 1.0]], dtype=pl.List(pl.Float64))
])

速度在这里非常重要，为此，我正在用 Polars 重写。谢谢。

python-polars