主页 / computer / 问题 / 1460851
Accepted
cmnstef
Asked: 2019-07-18 04:54:04 +0800 CST

无法初始化 Spark 会话

  • 772

我尝试在 RStudio 中初始化一个 Spark 会话

library(SparkR)

spark = sparkR.session()

我得到以下输出：

Spark package found in SPARK_HOME: /opt/application/Spark2/current
Launching java with spark-submit command /opt/application/Spark2/current/bin/spark-submit   sparkr-shell /tmp/RtmpHnfhH3/backend_port60069d001e5 
Error in sparkR.sparkContext(master, appName, sparkHome, sparkConfigMap,  : 
  Unexpected EOF in JVM connection data. Mismatched versions?

有谁知道如何解决这个问题？

rstudio

1 个回答

  1. Best Answer

    使用旧版本的 SparkR 例如 2.3.0 旧消息是：

    Version mismatch between Spark JVM and SparkR package. JVM version was 2.2.1-mapr-1803 , while R package version was 2.3.0

    所以这似乎是一个 SparkR 错误，因为旧版本可以完美运行。（我确实和你有同样的问题，最新版本）

    您可以通过 R 存档 ( https://cran.r-project.org/src/contrib/Archive/SparkR/ )获取旧版本，只需运行：

    library(devtools)
install_version("SparkR", version = "2.3.0", repos = "http://cran.us.r-project.org")
    • 0

相关问题