Как загрузить модель spark.mllib без SparkContext для прогнозирования?

С Spark1.6.0 MLLib я бы построил модель (например, RandomForest) и сохранил в hdfs, а затем можно было загрузить модель randomforest из hdfs для прогнозирования без SparkContext. Теперь загрузите модель, которую мы можем использовать, следующим образом:

val loadModel = RandomForestModel.load (sc, путь к модели)

Есть ли другой способ загрузить модель без sc? Спасибо!


apache-spark-mllib random-forest apache-spark-1.6
person shaojie    schedule 07.06.2017    source источник
comment
Я буду загружать эту модель очень часто (не в потоке искры), поэтому я не хочу часто создавать искровой контекст.   -  person shaojie    schedule 07.06.2017
comment
Привет @shaojie. Ты смог решить эту проблему?   -  person rishiag    schedule 05.10.2017

Ответы (1)


arrow_upward
0
arrow_downward

Мы обучаем наши модели с помощью искры, но для обслуживания у нас есть собственная реализация алгоритма (логистическая регрессия и т. д.), которая использует выходные данные модели, обученной искрой, но таким образом не нужно создавать экземпляр контекста искры.

person Gaurav    schedule 28.10.2017