Я выполнил те же самые шаги из других сообщений, таких как этот для создания искрового фрейма данных в R.
Sys.setenv(SPARK_HOME = "E:/spark-1.5.0-bin-hadoop2.6")
Sys.setenv('SPARKR_SUBMIT_ARGS'='"--packages" "com.databricks:spark-csv_2.10:1.2.0" "sparkr-shell"')
Sys.setenv(JAVA_HOME="C:/Program Files/Java/jre1.8.0_60")
library(rJava)
library(SparkR, lib.loc = "E:/spark-1.5.0-bin-hadoop2.6/R/lib/")
sc <- sparkR.init(master = "local", sparkHome = "E:/spark-1.5.0-bin-hadoop2.6")
sqlContext <- sparkRSQL.init(sc)
df <- createDataFrame(sqlContext, iris)
Тем не менее, он продолжает выдавать мне ошибку на самом последнем шаге:
Ошибка в invokeJava(isStatic = FALSE, objId$id, methodName, ...) :
org.apache.spark.SparkException: Задание прервано из-за сбоя этапа: Задача 0 на этапе 1.0 не удалась 1 раз, последний сбой: Потерянная задача 0.0 на этапе 1.0 (TID 1, локальный хост): java.lang.NullPointerException
в java.lang.ProcessBuilder.start(неизвестный источник) в org.apache.hadoop.util.Shell.runCommand(Shell.java: 482)
на org.apache.hadoop.util.Shell.run(Shell.java:455)
на org.apache.hadoop.util.Shell$ShellCommandExecutor.execute(Shell.java:715)
> в org.apache.hadoop.fs.FileUtil.chmod(FileUtil.java:873)
в org.apache.hadoop.fs.FileUtil.chmod(FileUtil.java:853)
в org.apache. spark.util.Utils$.fetchFile(Utils.scala:381)
в org.apache.spark.executor.Executor$$anonfun$org$apache$spark$executor$Executor$$updateDependencies$5.apply(Executor. scala:405)
на org.apache.spark.executor.Executor$$anonfun$org$apa che$spark$executor$Executor$$updateDependencies$5.apply(Executor.scala:397)
в scala.collection.TraversableLike$WithFilter$$anonfun$foreach$1.apply(TraversableLike.scala:7
