Вам необходимо собрать Spark перед запуском этой ошибки программы при запуске bin/pyspark

Я начинаю работать со Спарком.

У меня проблема при запуске искры.

Я скачал с официального сайта искры, я пытаюсь начать с этого https://spark.apache.org/docs/0.9.0/quick-start.html

Я скачал, настроил sparkhome., и когда я попытался запустить ./pyspark из каталога bin, я получил эту ошибку:

soundarya@soundarya:~/Downloads/spark-1.5.0/bin$ sudo ./pyspark
[sudo] password for soundarya: 
ls: cannot access /home/soundarya/Downloads/spark-1.5.0/assembly/target/scala-2.10: No such file or directory
Failed to find Spark assembly in /home/soundarya/Downloads/spark-1.5.0/assembly/target/scala-2.10.
You need to build Spark before running this program.
soundarya@soundarya:~/Downloads/spark-1.5.0/bin$

Может ли кто-нибудь помочь мне понять это?


apache-spark pyspark apache-spark-sql spark-streaming spark-view-engine
person Soundarya Thiagarajan    schedule 09.11.2015    source источник

Ответы (3)


arrow_upward
2
arrow_downward

Если вы хотите использовать дистрибутив исходного кода, вам нужно сначала собрать Spark. Подробности можно найти в Building Spark.

В противном случае просто скачайте бинарный дистрибутив (выберите готовый) из загрузок:

введите здесь описание изображения

Также не используйте устаревшую документацию. Вы можете использовать либо последнюю версию:

http://spark.apache.org/docs/latest

или зависит от версии

http://spark.apache.org/docs/1.5.0

person Community    schedule 09.11.2015
comment
Привет, спасибо за ваш ответ. Я попытался запустить его. 11.15.09 14:28:03 ОШИБКА NettyTransport: не удалось выполнить привязку к /192.168.0.109:0, отключение транспорта Netty 11.15.09 14:28:03 ОШИБКА SparkContext: ошибка инициализации SparkContext. java.net.BindException: Не удалось выполнить привязку к: /192.168.0.109:0: Ошибка службы «sparkDriver» после 16 попыток! py4j.protocol.Py4JJavaError: произошла ошибка при вызове None.org.apache.spark.api.java.JavaSparkContext. : java.net.BindException: не удалось выполнить привязку к: /192.168.0.109:0: сбой службы «sparkDriver» после 16 попыток! - person Soundarya Thiagarajan; 09.11.2015
comment
Я скачал spark-1.5.0-bin-hadoop2.4/bin - person Soundarya Thiagarajan; 09.11.2015
comment
Что в вашем файле conf/spark-env.sh? Вы пробовали сначала открыть искровую оболочку? (корзина / искровая оболочка) - person AkhlD; 09.11.2015
comment
Когда я попытался запустить spark-shell, я получил сообщение об ошибке: предупреждение OpenJDK 64-Bit Server VM: INFO: os::commit_memory(0x00000000bff80000, 716177408, 0) не удалось; error='Невозможно выделить память' (errno=12) # # Недостаточно памяти для продолжения среды выполнения Java. # Собственное выделение памяти (malloc) не смогло выделить 716177408 байт для фиксации зарезервированной памяти. # Файл отчета об ошибке с дополнительной информацией сохраняется как: # /home/soundarya/Downloads/spark-1.5.0-bin-hadoop2.4/bin/hs_err_pid16684.log soundarya@soundarya:~/Downloads/spark-1.5.0 -bin-hadoop2.4/bin$ - person Soundarya Thiagarajan; 09.11.2015
comment
это потому, что у вас недостаточно памяти на вашем компьютере. Что такое память исполнителя/драйвера, которую вы выделяете? а сколько памяти у тебя на машине? - person AkhlD; 09.11.2015

arrow_upward
0
arrow_downward

Загрузите предварительную версию Spark, как предложил Zero323. Кроме того, не рекомендуется запускать spark в режиме sudo.

person AkhlD    schedule 09.11.2015
comment
Привет, я попытался загрузить, как было предложено: spark-1.5.0-bin-hadoop2.4 (предварительная версия) .. но все же я завис с ошибками .. OpenJDK 64-битный сервер VM предупреждение: INFO: os::commit_memory(0x00000007d5500000 , 716177408, 0) не удалось; error='Невозможно выделить память' (errno=12) # # Недостаточно памяти для продолжения среды выполнения Java. # Собственное выделение памяти (malloc) не смогло выделить 716177408 байт для фиксации зарезервированной памяти. # Файл отчета об ошибке с дополнительной информацией сохраняется как: # /home/soundarya/Downloads/spark-1.5.0/hs_err_pid18440.log - person Soundarya Thiagarajan; 09.11.2015
comment
Сколько памяти у вас на машине? Это ошибка кучи JVM и не имеет ничего общего со искрой. Вы можете попробовать установить spark.driver.memory и spark.executor.memory в файле conf/spark-defaults.conf. Или просто выполните экспорт _JAVA_OPTIONS=-Xmx1g со своего терминала. - person AkhlD; 09.11.2015
comment
Я экспортировал _JAVA_OPTIONS=-Xmx1g ; Подняты _JAVA_OPTIONS: -Xmx1g поднять Исключение (процесс шлюза Java завершился до отправки драйверу его номера порта) Исключение: процесс шлюза Java завершился до отправки драйверу его номера порта ››› # Недостаточно памяти для продолжения среды выполнения Java. - person Soundarya Thiagarajan; 09.11.2015
comment
Недостаточно памяти для продолжения работы Java Runtime Environment. - Сколько памяти у вас на машине? - person AkhlD; 09.11.2015
comment
Привет, Ахид, я разместил это как отдельный ответ. - person Soundarya Thiagarajan; 09.11.2015

arrow_upward
0
arrow_downward

Проверьте место в имени папки spark, например, spark 2.4, затем удалите его и сделайте spark-2.4, чтобы решить проблему.

person vaquar khan    schedule 18.01.2019