По сути, я разработчик Java, и теперь у меня есть возможность поработать над Spark, и я изучил основы API Spark, например, что такое SparkConfig, SparkContaxt, RDD, SQLContaxt, DataFrame, DataSet, а затем я могу выполнить несколько простых простых преобразований, используя RDD, SQL .... но когда я пытаюсь отработать какое-то приложение графического фрейма с использованием java, я не могу добиться успеха, и я просмотрел так много руководств по YouTube, форумов и потоков stackoverflow, но нигде я не нашел прямого предложения или решение. На самом деле я сталкиваюсь с этой проблемой, когда пытаюсь создать объект для класса GraphFrame, и я также загрузил рецептивную банку (graphframes-0.2.0-spark2.0-s_2.11.jar), но все еще сталкиваюсь с проблемой сейчас, я хочу довести свой анализ до того, чего я достиг, из-за того, что я очень новичок в Spark, я не могу двигаться дальше, поэтому, если кто-то поможет мне, это действительно полезно для всех. Заранее спасибо. Исключением является то, что я сталкиваюсь с конструктором GraphFrame(DataFrame, DataFrame) undefined
import java.io.IOException;
import java.util.ArrayList;
import java.util.Arrays;
import java.util.List;
import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaRDD;
import org.apache.spark.api.java.JavaSparkContext;
import org.apache.spark.sql.DataFrame;
import org.apache.spark.sql.Row;
import org.apache.spark.sql.RowFactory;
import org.apache.spark.sql.SQLContext;
import org.apache.spark.sql.types.DataTypes;
import org.apache.spark.sql.types.StructField;
import org.apache.spark.sql.types.StructType;
import org.apache.spark.storage.StorageLevel;
import org.graphframes.GraphFrame;
import com.fasterxml.jackson.core.JsonParseException;
import com.fasterxml.jackson.databind.JsonMappingException;
public class SparkJavaGraphFrameOne {
public static void main(String[] args) throws JsonParseException, JsonMappingException, IOException{
SparkConf conf = new SparkConf().setAppName("test").setMaster("local");
JavaSparkContext sc = new JavaSparkContext(conf);
SQLContext sqlContext = new org.apache.spark.sql.SQLContext(sc);
JavaRDD<Row> verRow = sc.parallelize(Arrays.asList(RowFactory.create(1,"A"),RowFactory.create(2,"B")));
JavaRDD<Row> edgRow = sc.parallelize(Arrays.asList(RowFactory.create(1,2,"Edge")));
List<StructField> verFields = new ArrayList<StructField>();
verFields.add(DataTypes.createStructField("id",DataTypes.IntegerType, true));
verFields.add(DataTypes.createStructField("name",DataTypes.StringType, true));
List<StructField> EdgFields = new ArrayList<StructField>();
EdgFields.add(DataTypes.createStructField("fromId",DataTypes.IntegerType, true));
EdgFields.add(DataTypes.createStructField("toId",DataTypes.IntegerType, true));
EdgFields.add(DataTypes.createStructField("name",DataTypes.StringType, true));
StructType verSchema = DataTypes.createStructType(verFields);
StructType edgSchema = DataTypes.createStructType(EdgFields);
DataFrame verDF = sqlContext.createDataFrame(verRow, verSchema);
DataFrame edgDF = sqlContext.createDataFrame(edgRow, edgSchema);
GraphFrame g = new GraphFrame(verDF,edgDF);
g.vertices().show();
g.edges().show();
g.persist(StorageLevel.MEMORY_AND_DISK());
}
}