Апач Спарк | Каковы форматы входных файлов, требуемые spark MLlib для различных алгоритмов статистики?

Если вы посмотрите на примеры, представленные на странице MLlib, вы сможете найти пример, который подробно описывает создание входных данных. Чтобы предоставить указатель, предположим, что у вас есть текстовый CSV-файл в хранилище, в котором последняя строка является меткой. Затем следующий код создаст для вас помеченную точку RDD, которую можно отправить в алгоритмы MLlib.

val inputData = trainTextData.map { lines =>
      val parts = lines.split(",")
      LabeledPoint(parts(index).toDouble, Vectors.dense(remove(parts,index).map(x => if(x=="NULL") (0.0).toDouble else x.toDouble).toArray))
    }.cache

Таким же образом вы можете написать свои карты для создания данных из вашего ввода. Однако это будет сильно зависеть от ваших данных.