Запуск модели R с помощью SparkR

Спасибо заранее за ваш вклад. Я новичок в ML. Я разработал модель R (используя R studio на моем локальном компьютере) и хочу развернуть ее в кластере hadoop с установленной R Studio. Я хочу использовать SparkR для получения высокопроизводительных вычислений. Я просто хочу понять роль SparkR здесь.

Позволяет ли SparkR модели R запускать алгоритм в Spark ML в кластере Hadoop?

OR

Будет ли SparkR разрешать только обработку данных, а алгоритм машинного обучения будет работать в контексте R в кластере Hadoop?

Оцените ваш вклад.


r sparkr apache-spark-mllib
person Suri    schedule 14.11.2017    source источник
comment
Если ответ был направлен на ваш вопрос, примите его - спасибо   -  person desertnaut    schedule 12.12.2017

Ответы (1)


arrow_upward
0
arrow_downward

Это общие вопросы, но на самом деле на них есть очень простой и однозначный ответ: нет (на оба вопроса); SparkR не делает ни того, ни другого.

В разделе "Обзор" SparkR docs:

SparkR - это пакет R, который предоставляет легкий интерфейс для использования Apache Spark от R.

SparkR не может даже читать собственные модели R.

Идея использования SparkR для задач машинного обучения заключается в том, что вы разрабатываете свою модель специально в SparkR (и если вы попытаетесь, то обнаружите, что это гораздо больше limited по сравнению с множеством моделей, доступных в R через различные пакеты).

Даже такие удобства, как, скажем, confusionMatrix из пакета caret, недоступны, поскольку они работают с фреймами данных R, а не с фреймами Spark (см. этот вопрос и ответ).

person desertnaut    schedule 04.12.2017