Scala и GraphX ​​в Spark

Любая идея, почему мы получаем эти ошибки?

ubuntu@group-3-vm1:~/software/sbt/bin$ ./sbt package
[info] Set current project to hello (in build file:/home/ubuntu/software/sbt/bin/)
[info] Compiling 1 Scala source to /home/ubuntu/software/sbt/bin/target/scala-2.11/classes...
[error] /home/ubuntu/software/sbt/bin/hi.scala:1: object apache is not a member of package org
[error] import org.apache.spark.SparkContext
[error]            ^
[error] /home/ubuntu/software/sbt/bin/hi.scala:2: object apache is not a member of package org
[error] import org.apache.spark.SparkContext._
[error]            ^

код:

import org.apache.spark.SparkContext
import org.apache.spark.SparkContext._
import org.apache.spark.api.java._
import org.apache.spark.api.java.function.Function_
import org.apache.spark.graphx._
import org.apache.spark.graphx.lib._
import org.apache.spark.graphx.PartitionStrategy._
//class PartBQ1{

object PartBQ1{
val conf = new SparkConf().setMaster("spark://10.0.1.31:7077")
             .setAppName("CS-838-Assignment2-Question2")
             .set("spark.driver.memory", "1g")
             .set("spark.eventLog.enabled", "true")
             .set("spark.eventLog.dir", "/home/ubuntu/storage/logs")
             .set("spark.executor.memory", "21g")
             .set("spark.executor.cores", "4")
             .set("spark.cores.max", "4")
             .set("spark.task.cpus", "1")

val sc = new SparkContext(conf=conf)
sql_ctx = new SQLContext(sc)
graph = GraphLoader.edgeListFile(sc, "data2.txt")
}

apache-spark scala spark-graphx
person Mona Jalal    schedule 26.10.2015    source источник

Ответы (1)


arrow_upward
1
arrow_downward

Кажется, отсутствует файл sbt. Нравиться:

простой .sbt

name := "Simple Project"

version := "1.0"

scalaVersion := "2.10.4"

libraryDependencies += "org.apache.spark" %% "spark-core" % "1.5.1"
person Onilton Maciel    schedule 26.10.2015
comment
Как я могу сказать sbt использовать /home/ubuntu/software/spark-1.5.0-bin-hadoop2.6 локально вместо того, чтобы смотреть в Интернете? - person Mona Jalal; 26.10.2015
comment
Нужно только один раз посмотреть в Интернете (и загрузить его), не волнуйтесь. В следующий раз, когда вы запустите команду (sbt), она будет использовать кеш. - person Onilton Maciel; 26.10.2015
comment
как я могу указать локальный путь к spark, например sparkHome, или используя provide что-то вроде libraryDependencies += org.apache.spark %% spark-core% 1.3.0%, чтобы файл sbt использовал локальную установку spark? - person Mona Jalal; 26.10.2015
comment
Вы добавили новый вопрос, так что я постараюсь ответить там тогда. - person Onilton Maciel; 26.10.2015
comment
stackoverflow.com/questions/33337536/ - person ulrich; 13.05.2016