主页 / coding / 问题 / 79319493
Accepted
Tang Chen
Asked: 2024-12-31 16:21:33 +0800 CST

HIVE中grouping_id计算逻辑差异

  • 772

我最近在使用 Hive 2.3.9 版本时遇到了一个问题。

当我的分组依据设置为“a，b，c”并且分组集设置为（a，b，（a，b））时。

在上一个 Hive 版本中，grouping__id 的结果是当 "a" 时为 1 当 "b" 时为 2 当 "a,b" 时为 3。但是在 2.3.9 版本中，我发现结果是当 "a" 时为 1 当 "b" 时为 2 当 "a, b" 时为 0。新的正则与 Spark grouping__id Regular 相同。

我记得Hive Grouping__id的规则是从低到高，默认都是0，当出现维度时就重置为1，最后进行小数化。

但现在看上去好像已经改变了。

那么 Hive 做出了一些改变吗？

apache-spark

1 个回答

  1. Best Answer

    正如我在评论中提到的，这是因为要使其行为与其他查询引擎（如 apache spark）保持一致。

    在旧版本的 Hive 中：

    • grouping_id 按照从高到低的顺序计算，其中出现在分组中的维度被分配 0，其他维度被分配 1。然后将 grouping_id 转换为十进制值。

    Hive 2.3.9 中的行为：

    • 位的分配顺序是从低到高的。
    • 与旧版本相比，这可能会导致相同 grouping_id 设置产生不同的十进制结果。

    例子：

    一个 b 丙
    1 1 3
    4 5 5

    让我们尝试如下：

    SELECT a, b, c, grouping_id(a, b, c)
FROM table
GROUP BY GROUPING SETS ((a), (b), (a, b));

    旧行为（从高到低位顺序）

    分组集 位模式（a、b、c） grouping_id（十进制）
    (a) 0 1 1 3
    (b) 1 0 1 5
    (a, b) 0 0 1 1

    新行为（从低到高位顺序）

    分组集 位模式（a、b、c） grouping_id（十进制）
    (a) 1 1 0 6
    (b) 1 0 1 5
    (a, b) 1 0 0 4

    参考：

    有没有解决方法可以达到旧结果？如果您有兴趣了解，请告诉我。我会更新答案。

    • 2

相关问题