Spark версии 1.4.1 вместо 1.5.2 HdInsight

Я настроил кластер Azure HdInsight Linux Spark, который должен поставляться с версией Spark 1.5.2. Однако, если я попытаюсь вывести номер версии с помощью sparkContext.version, я продолжаю получать 1.4.1.

Может быть, я пропустил шаг с конфигурацией? Я загружал кластеры как через графический интерфейс, так и через скрипты.


azure linux apache-spark azure-hdinsight
person The young wolf    schedule 17.02.2016    source источник
comment
Не думаю, что этот вопрос не по теме. Azure HDInsight — это инструмент, который используют программисты. (Я не знаю, поэтому я понятия не имею о версии Spark. Даже 1.5.2 довольно старая.)   -  person Daniel Darabos    schedule 17.02.2016
comment
У меня та же проблема, версия в Azure указана как 1.5.2, но после того, как она действительно загрузится, sc.version дает мне 1.4.1. Тем временем я перешел на AWS EMR, который работает на 1.6.0.   -  person DaReal    schedule 18.02.2016

Ответы (1)


arrow_upward
0
arrow_downward

Это известная ошибка на нашей стороне. Бинарная версия на самом деле 1.5.2, но сообщается неправильно.

person Jennifer Marsman - MSFT    schedule 19.02.2016
comment
Действительно, похоже, это так. Кроме того, кажется, что проблема была решена в последние несколько дней. Большое спасибо! - person The young wolf; 23.02.2016