Surender Raja's questions

Estou executando a consulta pyspark abaixo

Isso gera o erro abaixo. Quero que valores dinâmicos passem por meio de um varaibale para a instrução case

 data1 = 'HI'
 data2 = 'HELLO'

 spark.sql(f""" select  Initials,
                case when Initials  in ('AM','NJ') then {data1} else {data2} end as s  
                from omegawriter""").display()

Eu recebo o erro abaixo

  A column or function parameter with name `HI` cannot be resolved.
  Project [Initials#69, CASE WHEN Initials#69 IN (AM,NJ) THEN 'HI ELSE 'HELLO END AS s#57]

Não entendo qual é o problema com esta consulta. Alguém pode me ajudar, por favor

 I dont know why this spark sql skips the last 3 000s after that decimal point

    df = spark.sql("""
      select cast('1900-01-01 00:00:00.000' as timestamp) as a  from dbo.products
      """)

  df.show(1,False)

Esta consulta acima produz 1900-01-01 00:00:00 De alguma forma, ela perde os últimos 3 zeros após os decimais

Esperado é

 1900-01-01 00:00:00.000

Alguém pode ajudar por favor

Como faço para dividir a string delimitada TSQL e passar por um loop (while ou for) e atualizar uma coluna da tabela com base em valores divididos

Basicamente, o dbo.omega precisa ser atualizado para a coluna current_version com base nos valores de @source

declare @source [varchar](500)
begin 
set @source = "employee:0,dept:1" # it is comma delimited string 

 #  I want to write logic for these two updates in a single update stament by looping through @source 
 #UPDATE dbo.omega set latest_version = 0 where obj_name = 'employee'
 #UPDATE dbo.omega set latest_version = 1 where obj_name = 'dept'

 splitarr = @source.split(",")
 i = 0
 while(i < len(splitarr)):
  UPDATE dbo.omega set latest_version = splitarr(i)
  i =i+1 
 end