искра от scala 2.10.4 до 2.11

Мне нужно работать с SparkSQL с таблицами шириной более 22 столбцов.

Кажется, Scala 2.11 решает проблему.

Любая помощь в обновлении и, возможно, рабочих кросс-версиях? Я использую Scala IDE в eclipse, но из-за проблем с SchemaRDD я могу перейти на Intellij IDEA.

Любая помощь приветствуется.


apache-spark apache-spark-sql scala eclipse-plugin
person Irene    schedule 09.02.2015    source источник
comment
Почему бы просто не попробовать и посмотреть, не сломается ли что-нибудь? Изменения с 2.10 на 2.11 относительно небольшие. Если вы используете SBT, возможно, вам просто нужно изменить значение scalaVersion в файле сборки. Совместимость с сериализацией нарушается, если вам нужно прочитать объекты, которые вы ранее не упорядочили, используя встроенную сериализацию. Но, не зная всех библиотек и функций, которые вы используете в своем проекте, никто другой не сможет ответить за вас.   -  person acjay    schedule 09.02.2015
comment
Я действительно не думаю, что Spark будет работать со Scala 2.11. Вот почему... Команда Spark явно предлагает использовать Scala 2.10. Прежде всего... вам нужно будет скомпилировать Spark против scala 2.11... Если это сработает... (с каким-то чудом)... тогда вы можете использовать это в своем проекте Scala 2.11.   -  person sarveshseri    schedule 09.02.2015

Ответы (1)


arrow_upward
1
arrow_downward

В документации по сборке Spark есть раздел о сборке Spark на Scala 2.11. Однако в инструкции может быть пропущен один шаг — см. другой вопрос StackOverflow.

Во всяком случае, согласно документации Scala 2.11 еще не полностью поддерживается:

Spark пока не поддерживает свой компонент JDBC для Scala 2.11.

person Adam H    schedule 04.11.2015