Создание фреймов данных в SparkR?

Я здесь новенький.... так что извините, если задаю наивные вопросы!!!

Я использую SparkR в Rstudio.

R версия 3.3.2 Искра версия 2.0.2

Я могу успешно запустить Spark в студии R, и я вижу, используя веб-интерфейс. localhost:4040, что моя искра запущена и работает.

Но как только я пытаюсь создать фрейм данных, он выдает примерно такую ​​ошибку:

Error in invokeJava(isStatic = FALSE, objId$id, methodName, ...) : 
  org.apache.spark.SparkException: Job aborted due to stage failure: Task 0 in stage 1.0 failed 1 times, most recent failure: Lost task 0.0 in stage 1.0 (TID 1, localhost): java.lang.NullPointerException
    at java.lang.ProcessBuilder.start(Unknown Source)
    at org.apache.hadoop.util.Shell.runCommand(Shell.java:482)
    at org.apache.hadoop.util.Shell.run(Shell.java:455)
    at org.apache.hadoop.util.Shell$ShellCommandExecutor.execute(Shell.java:715)
    at org.apache.hadoop.fs.FileUtil.chmod(FileUtil.java:873)
    at org.apache.hadoop.fs.FileUtil.chmod(FileUtil.java:853)
    at org.apache.spark.util.Utils$.fetchFile(Utils.scala:474)
    at org.apache.spark.executor.Executor$$anonfun$org$apache$spark$executor$Executor$$updateDependencies$5.apply(Executor.scala:488)
    at org.apache.spark.executor.Executor$$anonfun$org$apache$spark$executor$Executor$$updateDependencies$5.apply(Executor.scala:480)
    at scala.collection.TraversableLike$WithFilter$$anonfun$foreach$1.apply(TraversableLike.scala:7

Может ли кто-нибудь помочь мне с этим .... Заранее спасибо :)


r apache-spark sparkr
person Amir    schedule 10.08.2017    source источник
comment
Возможно, вам поможет этот предыдущий вопрос: stackoverflow.com/questions/38863003/   -  person Shaido    schedule 10.08.2017
comment
Когда вы используете sparkR, вы не можете работать с обычным фреймом данных. Вам нужно работать с SparkDataFrame, вы можете проверить это spark.apache.org/docs/ последний/sparkr.html#sparkdataframe   -  person Orhan Yazar    schedule 10.08.2017

Ответы (1)


arrow_upward
0
arrow_downward

Спасибо вам, ребята. Мне не хватало одного файла, который можно скачать с git, вот ссылка: https://github.com/steveloughran/winutils/tree/master/hadoop-2.7.1/bin

На самом деле у одного из моих друзей была такая же проблема, просто добавьте этот файл, и он должен работать нормально.

person Amir    schedule 25.10.2017