Выбрать Akka или Spark для параллельной обработки?

При выборе распараллеливания задач я обычно использую Spark. Чтение статей о параллельной обработке в Akka, таких как http://blog.knoldus.com/2011/09/19/power-of-parallel-processing-in-akka/ кажется, что использование Akka для распараллеливания находится на более низком уровне. Кажется, что Spark абстрагирует от пользователя некоторые концепции более низкого уровня, такие как уменьшение карты. Spark предоставляет абстракции высокого уровня для группировки и фильтрации данных. Является ли Akka конкурентом Spark для распараллеливания задач или они решают разные задачи?

Прежде чем решить, что использовать, какие соображения я должен сделать?


person blue-sky    schedule 27.05.2014    source источник


Ответы (2)


На самом деле Spark построен поверх akka (по крайней мере, на момент написания этой статьи). :) (http://akka.io/community/ — посмотрите "проекты, использующие akka")

Тем не менее, искра большого значения дает вам те абстракции, которые вы упомянули, в основном (IMO) в концепции RDD и операций над RDDs. Так что, если ваша проблемная область хорошо вписывается в это, используйте Spark; в противном случае напишите свой собственный материал akka.

person waffle paradox    schedule 27.05.2014
comment
Поскольку этот Spark построен на основе мифа об Akka, в том числе в SO отвечает на очень похожий вопрос, позвольте мне ссылка на другой ответ SO об Akka и Spark: Spark никогда не был построен на Akka, он использовал его только для своих внутренняя связь, и даже от этого отказались, чтобы кластеры Akka могли легче общаться со Spark потоком. - person fnl; 26.10.2017

Я считаю, что если нам нужно обрабатывать большое количество сообщений небольшого размера (миллионы), мы можем написать приложение на основе akka. Это должно быть быстрее искры. Прокомментируйте, пожалуйста.

Если данные сообщений очень большие, не может (нужно больше 1 jvm) нужен RDD. у искры есть еще одна дополнительная функция, которая может быть накладной в случае первого случая

person Sunil Mandowara    schedule 24.07.2015
comment
Это должен быть ответ на вопрос? - person Cleb; 25.07.2015