Jelly

Asked: 2024-07-25 23:48:27 +0800 CST2024-07-25 23:48:27 +0800 CST 2024-07-25 23:48:27 +0800 CST

Spark: convertido para valor DateType com apenas mês e ano

Dado valor de data com mês e ano:

03.2020

Tentei convertê-lo em DateType da seguinte maneira:

to_timestamp(col("Date"), "MM.yyyy").cast(DateType)

Mas isso retornou algo que eu não esperava:

 2017-03-01

O valor retornado contém "01" adicional (valor do dia) e reordena mês e ano. Então o valor esperado é “03.2020”

Seguindo este conselho , também tentei:

 date_format(col("Date"), "MM.yyyy")

Mas neste caso a função retorna nulo.

O que estou fazendo de errado ?

Best Answer

Ronak Jain

Isso deve funcionar:

dataframe
.withColumn("as_date",date_format((to_date('string_date', 'MM.yyyy')).cast('timestamp'),"MM.yyyy"))
.show()

Essencialmente, você precisa passar o carimbo de data/hora para date_format em vez da coluna de string

Entrada:

+-----------+
|string_date|
+-----------+
|    03.2020|
+-----------+

Saída:

+-----------+-------+
|string_date|as_date|
+-----------+-------+
|    03.2020|03.2020|
+-----------+-------+

relate perguntas