Надеюсь, на этот вопрос есть очевидный ответ! Я только что обновился до Spark v2.0 и у меня возникла странная проблема с spark-shell (сборка Scala 2.11). Если я введу следующий минимальный Scala, import java.sql.Timestamp case class...

Я использую pyspark 2.0 для создания объекта DataFrame, читая csv, используя: data = spark.read.csv('data.csv', header=True) Я нахожу тип данных, используя type(data) Результат pyspark.sql.dataframe.DataFrame Я пытаюсь...

Я получаю ошибку компиляции при преобразовании преобразования до LDA во фрейм данных с использованием SCALA в SPARK 2.0. Конкретный код, который вызывает ошибку, приведен ниже: val documents = PreLDAmodel.transform(mp_listing_lda_df)...

Когда я запускаю запросы Hive в Spark SQL, LHS ( timestamp ) <= RHS ( date ) для одного и того же значения '2013-09-30' не считается равным . Тогда как CAST из TIMESTAMP в RHS работает хорошо. > SELECT CASE WHEN...

Я использую Spark 2.0. У меня есть столбец моего фрейма данных, содержащий WrappedArray WrappedArrays of Float. Пример строки: [[1.0 2.0 2.0][6.0 5.0 2.0][4.0 2.0 3.0]] Я пытаюсь преобразовать этот столбец в Array[Array[Float]] ....

Проблема такая же, как описано здесь Mac ... но я не нашел решения. Раньше я также получал ошибку неправильного URI, но теперь я получаю ожидаемое имя хоста. Поэтому, когда я не подключен к Интернету, искровая оболочка не загружается в...

Я использую Spark 2.0.0 с Kafka 0.10.2. У меня есть приложение, которое обрабатывает сообщения от Kafka и выполняет длительную работу. Время от времени я вижу следующее сообщение в журналах. Я понимаю, как я могу увеличить время ожидания и все...

Я пытаюсь использовать искровое разбиение. Я пытался сделать что-то вроде data.write.partitionBy("key").parquet("/location") Проблема здесь: каждый раздел создает огромное количество паркетных файлов, что приводит к медленному чтению, если я...

Есть ли какой-то способ убить задание потоковой передачи искры через некоторое время, чтобы драйвер не был потерян, а остальные API отображали задание как выполненное.

Я пытаюсь написать в Spark код, ориентированный на производительность, и думаю, стоит ли мне писать Агрегатор или Пользовательская агрегатная функция (UDAF) для моих операций свертки в кадре данных. Мне нигде не удалось найти никаких данных о...

Я получаю следующую ошибку при попытке сохранить RDD в HDFS 17/09/13 17:06:42 WARN TaskSetManager: Lost task 7340.0 in stage 16.0 (TID 100118, XXXXXX.com, executor 2358): java.io.IOException: Failing write. Tried pipeline recovery 5 times without...

Используя следующий код в Spark (Java), мы сохраняем кадр данных в Oracle, он также создает таблицу, если она не существует. Dataset<Row> someAccountDF = sparkSession.createDataFrame(impalaAccountsDF.toJavaRDD(), AccountSchema.getSchema());...

У меня нет конкретного запроса, но вопрос дизайна. Я новичок в искрах/потоках, поэтому простите меня, если я задаю глупый вопрос. Пожалуйста, удалите его, если вопрос не подходит для этого форума. Итак, в основном у нас есть требование, когда мы...

Я хочу запустить простой рабочий пример, используя apache Spark. Используя локальные файлы jar в $SPARK_HOME/jars , он работает правильно, но при использовании зависимостей maven возникают ошибки: java.lang.NoSuchMethodError:...

В моем текстовом файле есть следующие данные: 10,14,16,19,52 08,09,12,20,45 55,56,70,78,53 Я хочу отсортировать каждую строку в порядке убывания. Я пробовал приведенный ниже код val file = sc.textFile("Maximum...