Как оценить модель spark.ml без DataFrames/SparkContext?

Re: Есть ли способ создать DataFrame вне Spark?

Это невозможно. DataFrames живут внутри SQLContext, а они живут в SparkContext. Возможно, вы могли бы обойти это каким-то образом, но вся история заключается в том, что связь между DataFrames и SparkContext является преднамеренной.

Вот мое решение использовать искровые модели вне искрового контекста (используя PMML):

1. Вы создаете модель с конвейером следующим образом:

SparkConf sparkConf = new SparkConf();

SparkSession session = SparkSession.builder().enableHiveSupport().config(sparkConf).getOrCreate();   
String tableName = "schema.table";
Properties dbProperties = new Properties();
dbProperties.setProperty("user",vKey);
dbProperties.setProperty("password",password);
dbProperties.setProperty("AuthMech","3");
dbProperties.setProperty("source","jdbc");
dbProperties.setProperty("driver","com.cloudera.impala.jdbc41.Driver");
String tableName = "schema.table";
String simpleUrl = "jdbc:impala://host:21050/schema"
Dataset<Row> data = session.read().jdbc(simpleUrl ,tableName,dbProperties);
String[] inputCols = {"column1"};
StringIndexer indexer = new StringIndexer().setInputCol("column1").setOutputCol("indexed_column1");
StringIndexerModel alphabet  = indexer.fit(data);
data = alphabet.transform(data);
VectorAssembler assembler = new VectorAssembler().setInputCols(inputCols).setOutputCol("features");
Predictor p = new GBTRegressor();
p.set("maxIter",20);
p.set("maxDepth",2);
p.set("maxBins",204);
p.setLabelCol("faktor");
PipelineStage[] stages = {indexer,assembler, p};
Pipeline pipeline = new Pipeline();
pipeline.setStages(stages);
PipelineModel pmodel = pipeline.fit(data);
PMML pmml = ConverterUtil.toPMML(data.schema(),pmodel);
FileOutputStream fos = new FileOutputStream("model.pmml");
JAXBUtil.marshalPMML(pmml,new StreamResult(fos));

2. Использование PPML для прогнозов (локально, без искрового контекста, который можно применить к карте аргументов, а не к DataFrame):

   PMML pmml = org.jpmml.model.PMMLUtil.unmarshal(new FileInputStream(pmmlFile));
   ModelEvaluatorFactory modelEvaluatorFactory = ModelEvaluatorFactory.newInstance();
   MiningModelEvaluator evaluator = (MiningModelEvaluator) modelEvaluatorFactory.newModelEvaluator(pmml);
   inputFieldMap = new HashMap<String, Field>();     
   Map<FieldName,String> args = new HashMap<FieldName, String>();
   Field curField = evaluator.getInputFields().get(0);
   args.put(curField.getName(), "1.0");
   Map<FieldName, ?> result  = evaluator.evaluate(args);
   

Тоже потратил сутки на эту проблему. Это не просто. Мое третье предложение касается кода, который я написал специально для этой цели.

Вариант 1

Как уже говорили другие комментаторы, predict(Vector) теперь доступен. Однако вам нужно знать, как построить вектор. Если нет, см. Вариант 3.

Вариант 2

Если цель состоит в том, чтобы избежать настройки сервера Spark (автономный или кластерный режимы), то можно запустить Spark в локальном режиме. Все это будет работать внутри одной JVM.

val spark = SparkSession.builder().config("spark.master", "local[*]").getOrCreate()
// create dataframe from file, or make it up from some data in memory
// use model.transform() to get predictions

Но это приводит к ненужным зависимостям в вашем модуле прогнозирования и потребляет ресурсы вашей JVM во время выполнения. Кроме того, если задержка прогнозирования имеет решающее значение, например, выполнение прогноза в течение миллисекунды после поступления запроса, то этот вариант слишком медленный.

Вариант 3

MLlib FeatureHasher может быть использован в качестве входных данных для вашего ученика. Класс хорош для одного горячего кодирования, а также для фиксации размера вашего измерения функции. Вы можете использовать его, даже если все ваши функции числовые. Если вы используете это в своем обучении, то все, что вам нужно во время прогнозирования, — это логика хеширования. Его реализован как искровой преобразователь, поэтому его нелегко повторно использовать вне искровой среды. Итак, я проделал работу по извлечению хэш-функции в библиотеку. Вы применяете FeatureHasher и своего ученика во время обучения, как обычно. Тогда вот как вы используете уменьшенный хэшер во время прогнозирования:

// Schema and hash size must stay consistent across training and prediction
val hasher = new FeatureHasherLite(mySchema, myHashSize)

// create sample data-point and hash it
val feature = Map("feature1" -> "value1", "feature2" -> 2.0, "feature3" -> 3, "feature4" -> false)
val featureVector = hasher.hash(feature)

// Make prediction
val prediction = model.predict(featureVector)

Вы можете увидеть подробности в моем github по адресу tilayealemu/sparkmllite. Если вы предпочитаете копировать мой код, взгляните на FeatureHasherLite.scala. Также есть образцы кода и модульные тесты. Не стесняйтесь создавать проблему, если вам нужна помощь.