Умножение матриц в Hadoop

Я пытаюсь создать код для алгоритма ранжирования страниц, и основная сложность заключается в том, чтобы эффективно решить матричное умножение, но я не понял, как выполнить эту задачу, я прочитал несколько статей об этом, но это выходит за рамки моего диапазона. . Я не понял концепции, которую он применяет. Итак, можете ли вы дать мне концепцию функции отображения и редуктора для умножения матриц. Заранее спасибо.

Я прочитал эту ссылку


person devsda    schedule 26.09.2012    source источник


Ответы (3)


Идея состоит в том, что вы можете разбить умножение матриц на подзадачи с помощью чего-то вроде алгоритма Штрассена, а затем отправить эти подзадачи на кучу разных компов. После того, как эти подзадачи будут решены, можно также заняться суммированием различных подзадач в самой матрице. Ключ к использованию Mapreduce заключается в том, что все подзадачи могут быть вычислены параллельно, для чего и предназначен Mapreduce.

person argentage    schedule 26.09.2012

Несколько фреймворков, таких как Apache Hama, имеют реализация PageRank. Apache Giraph также поддерживает PageRank.

MapReduce плохо подходит для PageRank, поэтому Google опубликовал Бумага Pregel для крупномасштабных графических вычислений.

person Praveen Sripati    schedule 03.10.2012

Предоставленная вами ссылка объясняет это предельно ясно (плюс включает исходный код). Если вы все еще боретесь с понятиями операций, то вам, вероятно, следует начать с чтения еще немного о матричной/линейной алгебре, чтобы вы поняли лежащую в основе математику.

person pap    schedule 26.09.2012
comment
Это не отвечает на вопрос, может быть лучше в качестве комментария. - person amit; 26.09.2012
comment
@amit Спрашивающий говорит, научите меня матричному умножению с помощью map/reduce, мой ответ состоит в том, чтобы предложить прочитать линейную алгебру и понять математику. Как это не ответ? Или вы ожидаете, что кто-то опубликует полную серию лекций со ссылками и упражнениями? - person pap; 26.09.2012
comment
Можете ли вы дать мне основную концепцию функций картографа и редуктора. - person devsda; 26.09.2012
comment
@jhamb - опять же, с чем конкретно вы боретесь? Концепция функций map и reduce в контексте MapReduce или конкретные реализации в опубликованной вами статье для умножения матриц? Будьте более точны, постарайтесь попробовать реализацию, и если вы столкнетесь с более конкретными проблемами, люди могут помочь вам в дальнейшем. Как и сейчас, вы не задаете вопрос о проблеме, вы хотите, чтобы кто-то научил вас целостной концепции. Вы видите, что это может быть слишком много для форума вопросов и ответов? - person pap; 26.09.2012
comment
Нет, я знаю основы алгоритмов Hadoop и Map-Reduce, мой вопрос к вам в том, что в вышеупомянутой ссылке, которую я упомянул, в чем смысл первого абзаца первой стратегии? - person devsda; 26.09.2012