主页 / user-14664617

David Regan's questions

Martin Hope
David Regan
Asked: 2024-12-18 18:48:24 +0800 CST
  • 6

我正在为 Scala 案例类编写一个自定义序列化器，并有一个实用函数来确定各种符号是否是案例类：

import scala.reflect.runtime.{universe => ru}

def isCaseClass(symbol: ru.Symbol): Boolean = (symbol.isInstanceOf[ru.MethodSymbol] &&
                                                  symbol.asInstanceOf[ru.MethodSymbol].isCaseAccessor) ||
                                                  (symbol.isInstanceOf[ru.ClassSymbol] &&
                                                  symbol.asInstanceOf[ru.ClassSymbol].isCaseClass)

检查isInstanceOf导致警告，但我不知道为什么：

abstract type reflect.runtime.universe.MethodSymbol is unchecked since it is eliminated by erasure
abstract type reflect.runtime.universe.ClassSymbol is unchecked since it is eliminated by erasure

我理解当涉及泛型时的类型擦除，例如 JVM 无法区分List[Integer]，List[String]我们进入类型标记领域来解决这些问题。但在我的例子中MethodSymbol是的子类，Symbol那么为什么要进行类型擦除呢？

有人可以解释一下吗？

谢谢，

大卫

scala
Martin Hope
David Regan
Asked: 2024-11-21 16:25:28 +0800 CST
  • 7

我经常使用mapspark 数据集行上的函数在 Scala 中对类型化对象进行转换。我通常的模式是转换数据框转换（withColumn、groupBy等）创建的中间结果，并创建中间结果的类型化数据集，以便我可以使用map。

这种方法效果很好，但会导致中间结果或难以处理的元组类型产生很多“临时”的案例类。

另一种方法是map在数据框上运行并从行中检索类型字段，但如果是案例类，getAs[T]这似乎不起作用。spark.implicitsT

例如这给出了错误ClassCastException: org.apache.spark.sql.catalyst.expressions.GenericRowWithSchema cannot be cast to Person

import org.apache.spark._
import org.apache.spark.sql._
import org.apache.spark.sql.functions.{round => colRound, min => colMin, max => colMax, _}
import org.apache.spark.sql.expressions.Window

import spark.implicits._

final case class Person(name: String, age: Integer)
val people = Seq(Person("Alice", 20), Person("Bob", 30), Person("Charlie", 40)).toDS

val df = people.alias("p")
               .select($"p.name", struct($"p.*").alias("person"))
val ds = df.map(row => {
  val name = row.getAs[String]("name")
  val person = row.getAs[Person]("person")
  (name, person)
})

display(ds)

而这个工作正常：

import org.apache.spark._
import org.apache.spark.sql._
import org.apache.spark.sql.functions.{round => colRound, min => colMin, max => colMax, _}
import org.apache.spark.sql.expressions.Window

import spark.implicits._

final case class Person(name: String, age: Integer)
val people = Seq(Person("Alice", 20), Person("Bob", 30), Person("Charlie", 40)).toDS

val df = people.alias("p")
               .select($"p.name", struct($"p.*").alias("person"))
               .as[Tuple2[String, Person]]
val ds = df.map(row => {
  val name = row._1
  val person = row._2
  (name, person)
})

display(ds)

因此，在第二个示例中，spark 很乐意将数据框 person 结构转换为Personcase 类，但在第一个示例中却不会这样做。有人知道解决这个问题的简单方法吗？

谢谢，

大卫

dataframe