主页 / coding / 问题 / 78854843
Accepted
smurphy
Asked: 2024-08-10 07:21:04 +0800 CST

与我上一个滞后值位于同一行的另一列的值

  • 772

我有一个时间序列数据集。我希望创建一个新列来表示最后报告的（非空）值。我想我已经弄清楚了这部分，使用lag和的组合last

我还想知道最后报告的（非空）值的时间戳。我从不希望timestamp_ms它是空的，尽管它val可以是空的。

示例数据

df = spark.createDataFrame([
    Row(timestamp_ms=1672531200000, val='19'),
    Row(timestamp_ms=1672532100000, val='20'),
    Row(timestamp_ms=1672533000000, val=None),
    Row(timestamp_ms=1672533900000, val='22'),
    Row(timestamp_ms=1672534800000, val=None),
    Row(timestamp_ms=1672535700000, val=None),
    Row(timestamp_ms=1672536600000, val='25'),
    Row(timestamp_ms=1672537500000, val='20'),
    Row(timestamp_ms=1672538400000, val='27')
])
df.show()

示例代码

返回最后的滞后值并尝试返回报告该值的时间戳。

df_lag = df.withColumn("lag_prev_val", F.lag("val")\
                                    .over(Window.partitionBy()\
                                    .orderBy("timestamp_ms"))
                         )\
            .withColumn("last_lag_prev_val", F.last("lag_prev_val", True)\
                                    .over(Window.partitionBy()\
                                    .orderBy("timestamp_ms"))
                         )\
            .withColumn("last_lag_prev_time", F.lag("timestamp_ms")\
                                .over(Window.partitionBy()\
                                .orderBy("timestamp_ms"))
                     )
df_lag.show()

电流输出

last_lag_prev_time表示先前报告的时间戳，而不是与last_lag_prev_val

时间戳毫秒 瓦尔 lag_prev_val last_lag_prev_val last_lag_prev_time
1672531200000 19 无效的 无效的 无效的
1672532100000 20 19 19 1672531200000
1672533000000 无效的 20 20 1672532100000
1672533900000 22 无效的 20 1672533000000
1672534800000 无效的 22 22 1672533900000
1672535700000 无效的 无效的 22 1672534800000
1672536600000 二十五 无效的 22 1672535700000
1672537500000 20 二十五 二十五 1672536600000
1672538400000 二十七 20 20 1672537500000

理想输出

我想要的输出（加粗差异）是用于last_lag_prev_time表示与用于填充“last_lag_prev_val”的timestamp_ms原始值来自同一行的列val

时间戳毫秒 瓦尔 lag_prev_val last_lag_prev_val last_lag_prev_time
1672531200000 19 无效的 无效的 无效的
1672532100000 20 19 19 1672531200000
1672533000000 无效的 20 20 1672532100000
1672533900000 22 无效的 20 1672532100000
1672534800000 无效的 22 22 1672533900000
1672535700000 无效的 无效的 22 1672533900000
1672536600000 二十五 无效的 22 1672533900000
1672537500000 20 二十五 二十五 1672536600000
1672538400000 二十七 20 20 1672537500000
apache-spark

1 个回答

  1. Best Answer

    一种解决方案是仅考虑没有 的行中的时间戳，val即NULL，我们可以通过创建一个名为 的列来实现val_timestamp_ms。然后我们可以从这个新列中获取最后一个时间戳并应用滞后。例如：

    df.withColumn("lag_prev_val", F.lag("val")\
                                    .over(Window.partitionBy()\
                                    .orderBy("timestamp_ms"))
                         )\
            .withColumn("last_lag_prev_val", F.last("lag_prev_val", True)\
                                    .over(Window.partitionBy()\
                                    .orderBy("timestamp_ms"))
                         )\
            .withColumn("val_timestamp_ms", F.when(F.col("val").isNull(), None)\
                                .otherwise(F.col("timestamp_ms"))
                         )\
            .withColumn("last_prev_time", F.last("val_timestamp_ms", True)\
                                    .over(Window.partitionBy()\
                                    .orderBy("timestamp_ms"))
                         )\
            .withColumn("last_lag_prev_time", F.lag("last_prev_time")\
                                    .over(Window.partitionBy()\
                                    .orderBy("timestamp_ms"))
                         )

+-------------+----+------------+-----------------+----------------+--------------+------------------+
| timestamp_ms| val|lag_prev_val|last_lag_prev_val|val_timestamp_ms|last_prev_time|last_lag_prev_time|
+-------------+----+------------+-----------------+----------------+--------------+------------------+
|1672531200000|  19|        NULL|             NULL|   1672531200000| 1672531200000|              NULL|
|1672532100000|  20|          19|               19|   1672532100000| 1672532100000|     1672531200000|
|1672533000000|NULL|          20|               20|            NULL| 1672532100000|     1672532100000|
|1672533900000|  22|        NULL|               20|   1672533900000| 1672533900000|     1672532100000|
|1672534800000|NULL|          22|               22|            NULL| 1672533900000|     1672533900000|
|1672535700000|NULL|        NULL|               22|            NULL| 1672533900000|     1672533900000|
|1672536600000|  25|        NULL|               22|   1672536600000| 1672536600000|     1672533900000|
|1672537500000|  20|          25|               25|   1672537500000| 1672537500000|     1672536600000|
|1672538400000|  27|          20|               20|   1672538400000| 1672538400000|     1672537500000|
+-------------+----+------------+-----------------+----------------+--------------+------------------+
    • 1

相关问题