Просмотр графика в Spark с помощью GraphX ​​и Zeppelin

В настоящее время я работаю над проектом, используя чужой код. Я понимаю основную концепцию работы этого кода, но не все. С этой целью я пытаюсь проследить небольшой пример через прогон. Я знаю, что могу сделать это с помощью println, но мне бы очень хотелось визуализировать график после каждой операции.

Можно ли просмотреть график, сгенерированный в spark? Я использую Zeppelin, потому что я читал, что он помогает с этой и другой отладкой, но я надеялся сделать визуальное представление графика.

Это возможно?


person Dylan Lawrence    schedule 23.05.2016    source источник


Ответы (1)


Spark GraphX ​​не имеет встроенного метода визуализации, и Zeppelin также не предоставляет встроенного метода визуализации. Имеет смысл, что это могло не быть приоритетом, если учесть, что GraphX ​​(и Spark в целом) имеет своей основной целью работу с огромными наборами данных, распределенными по кластеру машин. Чтобы визуализировать полный граф на вашей машине, вам нужно собрать полный граф на этой единственной машине, и если вы можете легко это сделать, нужна ли вам распределенная система?

Если вы решите, что ответ по-прежнему «да», есть несколько примеров визуализации графиков GraphX:

person sgvd    schedule 24.05.2016
comment
Хорошо, я могу вывести график на каждом этапе, верно? Мне все равно, какой формат, я думаю, если я не вижу, как это происходит с Zeppelin, я мог бы вывести какой-то файл графика на каждом этапе, преобразовать его в файл .dot, а затем визуализировать все графики ? - person Dylan Lawrence; 25.05.2016