主页 / coding / 问题 / 79293406
Accepted
LearneR
Asked: 2024-12-19 15:26:24 +0800 CST

在 Pyspark TempView 中，BooleanType 列中的 NULL 值的比较无法按预期进行

  • 772

我的 PySpark 笔记本中有一个TempView。当我在视图上运行 SQL 查询时，WHERE以下条件不会产生预期的结果：

is_valid != false

对于传入的记录，is_valid列（BooleanType字段）包含一个null值。我期望条件is_valid != false计算为，true因为null显然不等于false，对吗？

然而，事实并非如此。相反，它的计算结果为false。

我不确定我的情况出了什么问题。有什么想法吗？

pyspark

2 个回答

  1. Best Answer

    此行为是由于 SQL 处理涉及的比较的方式造成的NULL。

    任何与 的比较NULL结果都为FALSE。这是因为NULL表示未知值，并且 SQL 无法确定它是否等于其他任何值。

    此外，在 SQL 中，您不需要明确将布尔列与TRUE或进行比较FALSE。列本身充当条件。

    例如，不要这样写：

    SELECT * 
FROM my_table
WHERE is_valid != FALSE

    您可以将其简化为：

    SELECT * 
FROM my_table
WHERE is_valid

    但是，如果您想要包含行，其中is_valid是NULL，则需要使用以下命令明确处理：

    SELECT * 
FROM my_table
WHERE is_valid OR is_valid IS NULL

    这将确保您的结果中包含TRUE和NULL值。

    我在这里使用 SQL 语法，但同样适用于 pyspark 函数。

    df.where(col("is_valid" | col("is_valid").isnull())

# OR

df.where ("is_valid or is_valid is null")
    • 1
    1. Spark 中 NULL 语义的处理本身就是一章。
    2. 相关部分请参阅“WHERE、HAVING 和 JOIN 子句中的条件表达式”部分。
    3. 如果您的要求是您的WHERE子句应该对列进行评估TRUE，is_valid那么TRUE您NULL可以执行以下操作：
      • WHERE is_valid IS NULL or is_valid（同上WHERE is_valid IS NULL or is_valid = TRUE）
      • WHERE COALESCE(is_valid, TRUE)（同上WHERE COALESCE(is_valid, TRUE) = TRUE）
    • 0

相关问题