AskOverflow.Dev

AskOverflow.Dev Logo AskOverflow.Dev Logo

AskOverflow.Dev Navigation

  • Início
  • system&network
  • Ubuntu
  • Unix
  • DBA
  • Computer
  • Coding
  • LangChain

Mobile menu

Close
  • Início
  • system&network
    • Recentes
    • Highest score
    • tags
  • Ubuntu
    • Recentes
    • Highest score
    • tags
  • Unix
    • Recentes
    • tags
  • DBA
    • Recentes
    • tags
  • Computer
    • Recentes
    • tags
  • Coding
    • Recentes
    • tags
Início / coding / Perguntas / 78533442
Accepted
Jelly
Jelly
Asked: 2024-05-26 03:01:33 +0800 CST2024-05-26 03:01:33 +0800 CST 2024-05-26 03:01:33 +0800 CST

Spark: Nenhum implícito encontrado para evidência de parâmetro

  • 772

Eu tenho o seguinte código Spark no Scala:

  def main(args: Array[String]): Unit = {
       val spark = SparkSession.builder.master("local").getOrCreate()
       import spark.implicits._

    val scheme = new StructType()
        .add(new StructField("state_id", IntegerType, true))
        .add(new StructField("state", StringType, true))
         .add(new StructField("recommendation", StringType, true))

  val statesDf: DataFrame = spark.read
        .format("jdbc")
        .schema(scheme)
        .option("driver", "org.postgresql.Driver")
        .option("url", "jdbc:postgresql://localhost:5432/postgres")
        .option("dbtable", "public.states")
        .option("user", "postgres")
        .option("password", "postgres")
        .load()

   statesDf.map(r => Row(r.getInt(0) * 2)).show()

  }

E recebo o erro próximo à função "mapa":

 No implicits found for parameter evidence$6: Encoder[Row]  

Eu esperava que "import spark.implicits._" fosse suficiente para evitar esse problema, mas me enganei

dataframe
  • 1 1 respostas
  • 13 Views

1 respostas

  • Voted
  1. Best Answer
    werner
    2024-05-26T04:41:38+08:002024-05-26T04:41:38+08:00

    A mapfunção deve ser usada com conjuntos de dados (digitados).

    Você poderia usar

    val mapped1: Dataset[Int] = statesDf.map(r => r.getInt(0) * 2)
    

    ou

    case class MyClass(id: Integer)
    val mapped2: Dataset[MyClass] = statesDf.map(r => MyClass(r.getInt((0)*2)))
    

    Os codificadores implícitos funcionam principalmente para primitivos, suas sequências e tipos de produtos.

    • 1

relate perguntas

  • Selecione aleatoriamente colunas para embaralhar um dataframe bidimensional

  • Problema ao transformar coluna em Julia DataFrame com base na condição das linhas

  • Valor máximo em relação ao ano de ocorrência do pyspark

  • Como usar o operador null safe no scala?

Sidebar

Stats

  • Perguntas 205573
  • respostas 270741
  • best respostas 135370
  • utilizador 68524
  • Highest score
  • respostas
  • Marko Smith

    Vue 3: Erro na criação "Identificador esperado, mas encontrado 'import'" [duplicado]

    • 1 respostas
  • Marko Smith

    Por que esse código Java simples e pequeno roda 30x mais rápido em todas as JVMs Graal, mas não em nenhuma JVM Oracle?

    • 1 respostas
  • Marko Smith

    Qual é o propósito de `enum class` com um tipo subjacente especificado, mas sem enumeradores?

    • 1 respostas
  • Marko Smith

    Como faço para corrigir um erro MODULE_NOT_FOUND para um módulo que não importei manualmente?

    • 6 respostas
  • Marko Smith

    `(expression, lvalue) = rvalue` é uma atribuição válida em C ou C++? Por que alguns compiladores aceitam/rejeitam isso?

    • 3 respostas
  • Marko Smith

    Quando devo usar um std::inplace_vector em vez de um std::vector?

    • 3 respostas
  • Marko Smith

    Um programa vazio que não faz nada em C++ precisa de um heap de 204 KB, mas não em C

    • 1 respostas
  • Marko Smith

    PowerBI atualmente quebrado com BigQuery: problema de driver Simba com atualização do Windows

    • 2 respostas
  • Marko Smith

    AdMob: MobileAds.initialize() - "java.lang.Integer não pode ser convertido em java.lang.String" para alguns dispositivos

    • 1 respostas
  • Marko Smith

    Estou tentando fazer o jogo pacman usando apenas o módulo Turtle Random e Math

    • 1 respostas
  • Martin Hope
    Aleksandr Dubinsky Por que a correspondência de padrões com o switch no InetAddress falha com 'não cobre todos os valores de entrada possíveis'? 2024-12-23 06:56:21 +0800 CST
  • Martin Hope
    Phillip Borge Por que esse código Java simples e pequeno roda 30x mais rápido em todas as JVMs Graal, mas não em nenhuma JVM Oracle? 2024-12-12 20:46:46 +0800 CST
  • Martin Hope
    Oodini Qual é o propósito de `enum class` com um tipo subjacente especificado, mas sem enumeradores? 2024-12-12 06:27:11 +0800 CST
  • Martin Hope
    sleeptightAnsiC `(expression, lvalue) = rvalue` é uma atribuição válida em C ou C++? Por que alguns compiladores aceitam/rejeitam isso? 2024-11-09 07:18:53 +0800 CST
  • Martin Hope
    The Mad Gamer Quando devo usar um std::inplace_vector em vez de um std::vector? 2024-10-29 23:01:00 +0800 CST
  • Martin Hope
    Chad Feller O ponto e vírgula agora é opcional em condicionais bash com [[ .. ]] na versão 5.2? 2024-10-21 05:50:33 +0800 CST
  • Martin Hope
    Wrench Por que um traço duplo (--) faz com que esta cláusula MariaDB seja avaliada como verdadeira? 2024-05-05 13:37:20 +0800 CST
  • Martin Hope
    Waket Zheng Por que `dict(id=1, **{'id': 2})` às vezes gera `KeyError: 'id'` em vez de um TypeError? 2024-05-04 14:19:19 +0800 CST
  • Martin Hope
    user924 AdMob: MobileAds.initialize() - "java.lang.Integer não pode ser convertido em java.lang.String" para alguns dispositivos 2024-03-20 03:12:31 +0800 CST
  • Martin Hope
    MarkB Por que o GCC gera código que executa condicionalmente uma implementação SIMD? 2024-02-17 06:17:14 +0800 CST

Hot tag

python javascript c++ c# java typescript sql reactjs html

Explore

  • Início
  • Perguntas
    • Recentes
    • Highest score
  • tag
  • help

Footer

AskOverflow.Dev

About Us

  • About Us
  • Contact Us

Legal Stuff

  • Privacy Policy

Language

  • Pt
  • Server
  • Unix

© 2023 AskOverflow.DEV All Rights Reserve