主页 / coding / 问题 / 79374965
Accepted
ashish.g
Asked: 2025-01-21 23:18:43 +0800 CST

如何使用 Apache Spark 和 Scala 正确读取 CSV 文件并转义方括号内的分隔符逗号？

  • 772

我有以下由第三方发布的 CSV 文件，其中特定列的值包含逗号（出于某些无法解释的原因）。该列的值要么不存在，要么括在方括号/双引号内，因为它表示一个范围。

以下是 CSV 中的一条记录：

A,B
xxxxxxxxx,"['05-01', '06-30']"
yyyyyyyyy,"['04-01', '04-30']"
zzzzzzzzz,

罪魁祸首显然是第二列。有没有办法在 Apache Spark（Scala）中正确解析此 CSV，以便获得以下数据框：

+---+----------+------------------------+
|A             |B                       |
+---+-----------------------------------+
|xxxxxxxxx     |"['05-01', '06-30']"    |
|yyyyyyyyy     |"['04-01', '04-30']"    |
|zzzzzzzzz     |null                    |
+---+----------+------------------------+
scala

1 个回答

  1. Best Answer

    和选项的默认值delimiterquote允许您正确解析给定的 csv：

    scala> scala.io.Source.fromFile("source.csv").mkString
res2: String =
"A,B
xxxxxxxxx,"['05-01', '06-30']"
yyyyyyyyy,"['04-01', '04-30']"
zzzzzzzzz,
"

scala> val df = spark.read.option("header", "true").csv("source.csv")
df: org.apache.spark.sql.DataFrame = [A: string, B: string]

scala> df.show()
+---------+------------------+
|        A|                 B|
+---------+------------------+
|xxxxxxxxx|['05-01', '06-30']|
|yyyyyyyyy|['04-01', '04-30']|
|zzzzzzzzz|              NULL|
+---------+------------------+

scala>

    请注意，的值B没有用双引号括住每个值。这是对每个csv 格式的给定 csv 内容的正确解释。

    1. 包含换行符 (CRLF)、双引号和逗号的字段应使用双引号括起来。例如：

      “aaa”，“b CRLF bb”，“ccc” CRLF zzz，yyy，xxx

    • 0

相关问题