Графическая визуализация

Я ищу способ визуализировать график, построенный в Spark Graphx. Насколько я знаю, у Graphx нет методов визуализации, поэтому мне нужно экспортировать данные из Graphx в другую графическую библиотеку, но я застрял здесь. Я наткнулся на этот сайт: https://lintool.github.io/warcbase-docs/Spark-Network-Analysis/, но это не помогло. Какую библиотеку я должен использовать и как экспортировать график.


apache-spark visualization spark-graphx
person Saygın Doğu    schedule 03.08.2016    source источник
comment
Вам нужно преобразовать вершины и ребра графа в нужный вам формат. Это репо, которое конвертирует DataFrame в формат Higcharts. github.com/knockdata/zeppelin-highcharts   -  person Rockie Yang    schedule 03.08.2016
comment
Другой вариант — сохранить графики в формате GEXF и загрузить их в систему визуализации Gephi (gephi.org). К сожалению, GraphX ​​изначально не поддерживает этот формат, но вы можете попытаться реализовать его самостоятельно.   -  person Paweł Jurczenko    schedule 03.08.2016

Ответы (4)


arrow_upward
14
arrow_downward

Итак, вы можете сделать что-то вроде этого

  1. Сохранить в gexf (формат обмена графами) Код из Manning | Spark GraphX ​​в действии
def toGexf[VD,ED](g:Graph[VD,ED]) : String = {
    "<?xml version=\"1.0\" encoding=\"UTF-8\"?>\n" +
    "<gexf xmlns=\"http://www.gexf.net/1.2draft\" version=\"1.2\">\n" +
    "  <graph mode=\"static\" defaultedgetype=\"directed\">\n" +
    "    <nodes>\n" +
    g.vertices.map(v => "      <node id=\"" + v._1 + "\" label=\"" +
                        v._2 + "\" />\n").collect.mkString +
    "    </nodes>\n" +
    "    <edges>\n" +
    g.edges.map(e => "      <edge source=\"" + e.srcId +
                     "\" target=\"" + e.dstId + "\" label=\"" + e.attr +
                     "\" />\n").collect.mkString +
    "    </edges>\n" +
    "  </graph>\n" +
    "</gexf>"
}
  1. Используйте подключаемый модуль GEXF в linkurious.js, чтобы загрузить файл.

Пример: http://gregroberts.github.io

введите описание изображения здесь

person oluies    schedule 05.10.2016

arrow_upward
3
arrow_downward

вы можете использовать либо Gephi, либо d3 из цеппелин. Проверьте D3.js In Action by Elijah Meeks и Spark GraphX in Action by Michael S. Malak

Попробуйте, как показано ниже, от zeppelin в scala и js, заимствованных из grapxInAction:

import org.apache.spark.graphx._
import scala.reflect.ClassTag

def drawGraph[VD:ClassTag,ED:ClassTag](g:Graph[VD,ED]) = {

val u = java.util.UUID.randomUUID
val v = g.vertices.collect.map(_._1)
println("""%html
<div id='a""" + u + """' style='width:960px; height:500px'></div> 
<style>
.node circle { fill: gray; }
.node text { font: 10px sans-serif;
     text-anchor: middle;
     fill: white; }
line.link { stroke: gray;
    stroke-width: 1.5px; }
</style>
<script src="//d3js.org/d3.v3.min.js"></script>
<script>
.var width = 960, height = 500;
var svg = d3.select("#a""" + u + """").append("svg")
.attr("width", width).attr("height", height);
var nodes = [""" + v.map("{id:" + _ + "}").mkString(",") + """];
var links = [""" + g.edges.collect.map(
e => "{source:nodes[" + v.indexWhere(_ == e.srcId) + 
"],target:nodes[" +
v.indexWhere(_ == e.dstId) + "]}").mkString(",") + """];
var link = svg.selectAll(".link").data(links);
link.enter().insert("line", ".node").attr("class", "link");
var node = svg.selectAll(".node").data(nodes);
var nodeEnter = node.enter().append("g").attr("class", "node")
nodeEnter.append("circle").attr("r", 8);
nodeEnter.append("text").attr("dy", "0.35em")
 .text(function(d) { return d.id; });
d3.layout.force().linkDistance(50).charge(-200).chargeDistance(300)
.friction(0.95).linkStrength(0.5).size([width, height])
.on("tick", function() {
link.attr("x1", function(d) { return d.source.x; })
  .attr("y1", function(d) { return d.source.y; })
  .attr("x2", function(d) { return d.target.x; })
  .attr("y2", function(d) { return d.target.y; });
node.attr("transform", function(d) {
return "translate(" + d.x + "," + d.y + ")";
});
}).nodes(nodes).links(links).start();
</script>
 """)
 }
person elcomendante    schedule 04.02.2018

arrow_upward
2
arrow_downward

Если вы используете grpahFrames, я изменил код, предоставленный @Karol Sudol в его ответе для GraphFrames:

    def drawGraph[vertices:ClassTag,relations:ClassTag](g:GraphFrame) = {

    val u = java.util.UUID.randomUUID
    val v = g.vertices.select("id")


    val vertexes: Array[String] = g.vertices.select("id").rdd.map(x => x(0).toString).collect()

    val edges: Array[Array[String]] = g.edges.select("src", "dst").rdd.map(r => Array(r(0).toString, r(1).toString)).collect()

    val edgeCreation = edges.map{ edgeArray =>
   "{source:nodes["+ vertexes.indexOf(edgeArray(0).trim()) +"],target:nodes["+ vertexes.indexOf(edgeArray(1).trim())+"]}"
  }


  println("""
    <!DOCTYPE html>
     <html lang="en">
     <head>
     <meta charset="utf-8">
     <title>Graph</title>
     <div id='a""" + u + """' style='width:960px; height:500px'></div>
    <style>
    .node circle { fill: gray; }
    .node text { font: 10px sans-serif;        
    text-anchor: middle;
    fill: white; }
    line.link { stroke: gray;
    stroke-width: 1.5px; }
    </style>
    <script src="https://d3js.org/d3.v3.min.js"></script>
    </head>
    <body>
    <script>
    var width = 960, height = 500;
    var svg = d3.select("#a""" + u + """").append("svg")
    .attr("width", width).attr("height", height);
    var nodes = [""" + vertexes.map("{id:\"" + _ + "\"}").mkString(",") + """];
    var links = ["""+ edgeCreation.mkString(",") + """];
    var link = svg.selectAll(".link").data(links);
    link.enter().insert("line", ".node").attr("class", "link");
    var node = svg.selectAll(".node").data(nodes);
    var nodeEnter = node.enter().append("g").attr("class", "node")
    nodeEnter.append("circle").attr("r", 8);
    nodeEnter.append("text").attr("dy", "0.35em")
     .text(function(d) { return d.id; });
    d3.layout.force().linkDistance(50).charge(-200).chargeDistance(300)
    .friction(0.95).linkStrength(0.5).size([width, height])
    .on("tick", function() {
    link.attr("x1", function(d) { return d.source.x; })
      .attr("y1", function(d) { return d.source.y; })
      .attr("x2", function(d) { return d.target.x; })
      .attr("y2", function(d) { return d.target.y; });
    node.attr("transform", function(d) {
    return "translate(" + d.x + "," + d.y + ")";
    });
    }).nodes(nodes).links(links).start();
    </script>
    </body>
    </html>
     """)

}
person Nav    schedule 26.09.2018

arrow_upward
0
arrow_downward

Вы можете использовать эчаты, простые инструменты для визуализации вашего графика. ссылки: baidu echats

демонстрации на этом сайте

Вы можете получить данные json только с удаленного URL-адреса и визуализировать свои данные.

person user6043069    schedule 11.06.2018