Início / coding / Perguntas / 76977555
Accepted
Surender Raja
Asked: 2023-08-25 21:12:46 +0800 CST

Por que o Spark SQL pula milissegundos quando fazemos a transmissão

  • 772
 I dont know why this spark sql skips the last 3 000s after that decimal point

    df = spark.sql("""
      select cast('1900-01-01 00:00:00.000' as timestamp) as a  from dbo.products
      """)

  df.show(1,False)

Esta consulta acima produz 1900-01-01 00:00:00 De alguma forma, ela perde os últimos 3 zeros após os decimais

Esperado é

 1900-01-01 00:00:00.000

Alguém pode ajudar por favor

pyspark

1 respostas

  1. Best Answer

    Parece que quando os milissegundos são .000ativados, por padrão, pula essa parte:

    >>> spark.sql("SELECT CAST('1900-01-01 00:00:00.000' AS TIMESTAMP)").show(truncate=False)
+------------------------------------------+
|CAST(1900-01-01 00:00:00.000 AS TIMESTAMP)|
+------------------------------------------+
|1900-01-01 00:00:00                       |
+------------------------------------------+

    Se você definir milissegundos como, por exemplo, .999, será exibido:

    >>> spark.sql("SELECT CAST('1900-01-01 00:00:00.999' AS TIMESTAMP)").show(truncate=False)
+------------------------------------------+
|CAST(1900-01-01 00:00:00.999 AS TIMESTAMP)|
+------------------------------------------+
|1900-01-01 00:00:00.999                   |
+------------------------------------------+

    Se você realmente precisa que essa parte seja exibida, use date_format :

    >>> df = spark.sql("SELECT CAST('1900-01-01 00:00:00.000' AS TIMESTAMP) datecol")
>>> df.select(F.date_format("datecol", "yyyy-MM-dd HH:mm:ss.SSS").alias("datecol")).show(truncate=False)
+-----------------------+
|datecol                |
+-----------------------+
|1900-01-01 00:00:00.000|
+-----------------------+
    • 1

relate perguntas