Я хотел бы остановить различные сообщения, которые приходят на Spark Shell. Я попытался отредактировать log4j.properties файл, чтобы остановить это сообщение. Вот содержимое log4j.properties # Define the root logger with appender file...

Как рассчитать оптимальную настройку памяти для команды spark-submit? Я привожу 4,5 ГБ данных в Spark из Oracle и выполняю некоторые преобразования, такие как соединение с таблицей Hive и запись их обратно в Oracle. У меня вопрос, как создать...

~/spark/spark-2.1.1-bin-hadoop2.7/bin$ ./spark-submit --master spark://192.168.42.80:32141 --deploy-mode cluster file:///home/me/workspace/myproj/target/scala-2.11/myproj-assembly-0.1.0.jar Running Spark using the REST application submission...

Я использую автономный кластер Spark 2.1.1, Хотя у меня есть 29 свободных ядер в моем кластере ( Cores in use: 80 Total, 51 Used ), при отправке нового задания spark с --total-executor-cores 16 эта конфигурация не вступает в силу, и задание...

У меня есть код pyspark, зависящий от сторонних библиотек. Я хочу выполнить этот код в своем кластере, работающем под управлением mesos. У меня есть заархивированная версия моей среды Python, которая находится на http-сервере, доступном для моего...

Я запускаю код Java для копирования файлов из HDFS на локальный, используя режим кластера Spark в искровой отправке. Задание работает нормально с локальной искрой, но не работает в кластерном режиме. Он вызывает java.io.exeception: Target / mypath /...

Я пытаюсь выполнить запрос Hive в своем коде Spark, но мне нужно использовать библиотеку jar для выполнения этого запроса с Hive, потому что я создал таблицу с этим jar, поэтому для запроса таблицы я должен ее импортировать. Мой код искры: val...

Я новичок в Spark, и, изучая эту структуру, я понял, что, насколько мне известно, существует два способа запуска приложения spark, написанного на Scala: Упакуйте проект в файл JAR, а затем запустите его с помощью сценария spark-submit. Запуск...

Какова цель отправки искры? Из того, что я вижу, это просто добавление свойств и банок в путь к классам. Если я использую весеннюю загрузку, могу ли я избежать использования spark-submit и просто упаковать толстую банку со всеми свойствами, которые...

Я пытаюсь записать файл в hdfs, используя spark-submit. При записи файла я хочу разбить один файл на несколько, как результат mapreduce, а не один (например, часть-0000, парк-0001). вот пример кода Какие параметры я должен установить val conf...

Есть ли способ запустить spark-submit (spark v2.3.2 из HDP 3.1.0) в виртуальном окружении? Есть ситуация, когда есть файл python, который использует python3 (и некоторые конкретные библиотеки) в virtualenv (чтобы изолировать версии lib от остальной...

Я выполнил следующие инструкции, кроме minicube, я использовал кластер Google Cloud Platform Kubernetes: (Spark 2.3.2) https://testdriven.io/blog/deploying-spark-on-kubernetes/ Когда я отправляю искровые задания с:...

Вопрос : как отправить файлы jar, хранящиеся в AWS S3, в Local Spark? Я ищу способ отправить банки, хранящиеся в S3, в Local Spark (не EMR). Однако, когда я исследовал это, я увидел только то, как отправить его в кластер EMR Spark. Ближайший...

Я пытаюсь запустить искровую оболочку в режиме псевдораспределения на моем компьютере с Windows 10, имеющем 8 гигабайт оперативной памяти. Я могу отправить и запустить количество слов mapreduce на пряже, но когда я пытаюсь инициализировать искровую...