Início / coding / Perguntas / 79374965
Accepted
ashish.g
Asked: 2025-01-21 23:18:43 +0800 CST

Como ler corretamente um arquivo CSV escapando a vírgula delimitadora colocada entre colchetes usando Apache Spark e Scala?

  • 772

Tenho o seguinte CSV que é publicado por um terceiro com os valores para uma coluna específica contendo uma vírgula (por algum motivo inexplicável). Os valores para a coluna estão ausentes ou entre colchetes/aspas duplas, pois representam um intervalo.

A seguir está um desses registros do CSV:

A,B
xxxxxxxxx,"['05-01', '06-30']"
yyyyyyyyy,"['04-01', '04-30']"
zzzzzzzzz,

O culpado é a segunda coluna, como é óbvio. Existe uma maneira de analisar corretamente esse CSV no Apache Spark (Scala) para ter o seguinte dataframe:

+---+----------+------------------------+
|A             |B                       |
+---+-----------------------------------+
|xxxxxxxxx     |"['05-01', '06-30']"    |
|yyyyyyyyy     |"['04-01', '04-30']"    |
|zzzzzzzzz     |null                    |
+---+----------+------------------------+
scala

1 respostas

  1. Best Answer

    Os valores padrão de delimitere quoteopções permitem que você analise corretamente o arquivo csv fornecido:

    scala> scala.io.Source.fromFile("source.csv").mkString
res2: String =
"A,B
xxxxxxxxx,"['05-01', '06-30']"
yyyyyyyyy,"['04-01', '04-30']"
zzzzzzzzz,
"

scala> val df = spark.read.option("header", "true").csv("source.csv")
df: org.apache.spark.sql.DataFrame = [A: string, B: string]

scala> df.show()
+---------+------------------+
|        A|                 B|
+---------+------------------+
|xxxxxxxxx|['05-01', '06-30']|
|yyyyyyyyy|['04-01', '04-30']|
|zzzzzzzzz|              NULL|
+---------+------------------+

scala>

    NOTE que o valor para Bnão tem aspas duplas em volta de cada valor. Qual é a interpretação correta do conteúdo csv fornecido por formato csv .

    1. Campos contendo quebras de linha (CRLF), aspas duplas e vírgulas devem ser colocados entre aspas duplas. Por exemplo:

      "aaa","b CRLF bb","ccc" CRLF zzz,yyy,xxx

    • 0

relate perguntas