java.lang.ClassNotFoundException при отправке приложения scala в автономный искровой кластер

Я пытаюсь использовать кластер Spark с приложением, которое зависит только от scala 2.11 (код в scala), spark 2.1.0 и java 8.

Мой кластер состоит из 2 узлов и 1 мастера, каждый из которых получил все зависимости (jar), файлы проекта в одном месте на учетной записи с тем же именем (spark) и той же ОС (Ubuntu 16.04.2 LTS).

Код, который я пытаюсь запустить в IntelliJIdea:

import org.apache.spark.{SparkConf, SparkContext}
import org.apache.spark.graphx._

object Main extends App {

val sparkConf = new SparkConf()
          .setAppName("Application")
          .setMaster("spark://<IP-Address-Master>:7077")
val sparkContext = new SparkContext(sparkConf)
sparkContext.setLogLevel("ERROR")

val NB_VERTICES = 50 // vertices count (TO ADAPT)
val DENSITY = 50 // graph density (TO ADAPT)

var graph = generateGraph(NB_VERTICES, sparkContext, DENSITY)// graph generation based on vertices number and density

var hasChanged = true // boolean to loop over

while(hasChanged){
  previousGraph = graph // Save previous graph
  graph = execute(graph, 1) // Execute 1 iteration of our algorithm
  hasChanged = hasGraphChanged(previousGraph, graph) // Verify if it has changed, if it's false we break out of the loop
      }    
}

Точность: я не добавлял такие функции, как «generateGraph» и т. д., потому что я думаю, что это сделает сообщение слишком длинным. Но важно знать: этот код отлично работает, когда выполняется локально, а не в кластере. Это зависит только от spark graphX, scala и java.

Поэтому, когда мой кластер запущен и работает (каждый рабочий процесс зарегистрирован и виден в веб-интерфейсе), я пытаюсь запустить это приложение и получаю следующую ошибку:

17/06/08 16:05:00 INFO SparkContext: Running Spark version 2.1.0
17/06/08 16:05:01 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
17/06/08 16:05:01 WARN Utils: Your hostname, workstation resolves to a loopback address: 127.0.1.1; using 172.16.24.203 instead (on interface enx28f10e4fec2a)
17/06/08 16:05:01 WARN Utils: Set SPARK_LOCAL_IP if you need to bind to another address
17/06/08 16:05:01 INFO SecurityManager: Changing view acls to: spark
17/06/08 16:05:01 INFO SecurityManager: Changing modify acls to: spark
17/06/08 16:05:01 INFO SecurityManager: Changing view acls groups to: 
17/06/08 16:05:01 INFO SecurityManager: Changing modify acls groups to: 
17/06/08 16:05:01 INFO SecurityManager: SecurityManager: authentication disabled; ui acls disabled; users  with view permissions: Set(spark); groups with view permissions: Set(); users  with modify permissions: Set(spark); groups with modify permissions: Set()
17/06/08 16:05:02 INFO Utils: Successfully started service 'sparkDriver' on port 42652.
17/06/08 16:05:02 INFO SparkEnv: Registering MapOutputTracker
17/06/08 16:05:02 INFO SparkEnv: Registering BlockManagerMaster
17/06/08 16:05:02 INFO BlockManagerMasterEndpoint: Using org.apache.spark.storage.DefaultTopologyMapper for getting topology information
17/06/08 16:05:02 INFO BlockManagerMasterEndpoint: BlockManagerMasterEndpoint up
17/06/08 16:05:02 INFO DiskBlockManager: Created local directory at /tmp/blockmgr-fe269631-606f-4e03-a75a-82809f4dce2d
17/06/08 16:05:02 INFO MemoryStore: MemoryStore started with capacity 869.7 MB
17/06/08 16:05:02 INFO SparkEnv: Registering OutputCommitCoordinator
17/06/08 16:05:02 INFO Utils: Successfully started service 'SparkUI' on port 4040.
17/06/08 16:05:02 INFO SparkUI: Bound SparkUI to 0.0.0.0, and started at http://172.16.24.203:4040
17/06/08 16:05:02 INFO StandaloneAppClient$ClientEndpoint: Connecting to master spark://172.16.24.203:7077...
17/06/08 16:05:03 INFO TransportClientFactory: Successfully created connection to /172.16.24.203:7077 after 50 ms (0 ms spent in bootstraps)
17/06/08 16:05:03 INFO StandaloneSchedulerBackend: Connected to Spark cluster with app ID app-20170608160503-0000
17/06/08 16:05:03 INFO Utils: Successfully started service 'org.apache.spark.network.netty.NettyBlockTransferService' on port 42106.
17/06/08 16:05:03 INFO NettyBlockTransferService: Server created on 172.16.24.203:42106
17/06/08 16:05:03 INFO BlockManager: Using org.apache.spark.storage.RandomBlockReplicationPolicy for block replication policy
17/06/08 16:05:03 INFO BlockManagerMaster: Registering BlockManager BlockManagerId(driver, 172.16.24.203, 42106, None)
17/06/08 16:05:03 INFO BlockManagerMasterEndpoint: Registering block manager 172.16.24.203:42106 with 869.7 MB RAM, BlockManagerId(driver, 172.16.24.203, 42106, None)
17/06/08 16:05:03 INFO BlockManagerMaster: Registered BlockManager BlockManagerId(driver, 172.16.24.203, 42106, None)
17/06/08 16:05:03 INFO StandaloneAppClient$ClientEndpoint: Executor added: app-20170608160503-0000/0 on worker-20170608145510-172.16.24.196-41159 (172.16.24.196:41159) with 8 cores
17/06/08 16:05:03 INFO StandaloneSchedulerBackend: Granted executor ID app-20170608160503-0000/0 on hostPort 172.16.24.196:41159 with 8 cores, 1024.0 MB RAM
17/06/08 16:05:03 INFO BlockManager: Initialized BlockManager: BlockManagerId(driver, 172.16.24.203, 42106, None)
17/06/08 16:05:03 INFO StandaloneAppClient$ClientEndpoint: Executor added: app-20170608160503-0000/1 on worker-20170608185509-172.16.24.210-42227 (172.16.24.210:42227) with 4 cores
17/06/08 16:05:03 INFO StandaloneSchedulerBackend: Granted executor ID app-20170608160503-0000/1 on hostPort 172.16.24.210:42227 with 4 cores, 1024.0 MB RAM
17/06/08 16:05:03 INFO StandaloneAppClient$ClientEndpoint: Executor updated: app-20170608160503-0000/0 is now RUNNING
17/06/08 16:05:03 INFO StandaloneAppClient$ClientEndpoint: Executor updated: app-20170608160503-0000/1 is now RUNNING
17/06/08 16:05:03 INFO StandaloneSchedulerBackend: SchedulerBackend is ready for scheduling beginning after reached minRegisteredResourcesRatio: 0.0
17/06/08 16:05:10 ERROR TaskSetManager: Task 1 in stage 6.0 failed 4 times; aborting job
Exception in thread "main" org.apache.spark.SparkException: Job aborted due to stage failure: Task 1 in stage 6.0 failed 4 times, most recent failure: Lost task 1.3 in stage 6.0 (TID 14, 172.16.24.196, executor 0): java.lang.ClassNotFoundException: Main$$anonfun$3
    at java.net.URLClassLoader.findClass(URLClassLoader.java:381)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:357)
    at java.lang.Class.forName0(Native Method)
    at java.lang.Class.forName(Class.java:348)
    at org.apache.spark.serializer.JavaDeserializationStream$$anon$1.resolveClass(JavaSerializer.scala:67)
    at java.io.ObjectInputStream.readNonProxyDesc(ObjectInputStream.java:1819)
    at java.io.ObjectInputStream.readClassDesc(ObjectInputStream.java:1713)
    at java.io.ObjectInputStream.readOrdinaryObject(ObjectInputStream.java:1986)
    at java.io.ObjectInputStream.readObject0(ObjectInputStream.java:1535)
    at java.io.ObjectInputStream.defaultReadFields(ObjectInputStream.java:2231)
    at java.io.ObjectInputStream.readSerialData(ObjectInputStream.java:2155)
    at java.io.ObjectInputStream.readOrdinaryObject(ObjectInputStream.java:2013)
    at java.io.ObjectInputStream.readObject0(ObjectInputStream.java:1535)
    at java.io.ObjectInputStream.defaultReadFields(ObjectInputStream.java:2231)
    at java.io.ObjectInputStream.readSerialData(ObjectInputStream.java:2155)
    at java.io.ObjectInputStream.readOrdinaryObject(ObjectInputStream.java:2013)
    at java.io.ObjectInputStream.readObject0(ObjectInputStream.java:1535)
    at java.io.ObjectInputStream.defaultReadFields(ObjectInputStream.java:2231)
    at java.io.ObjectInputStream.readSerialData(ObjectInputStream.java:2155)
    at java.io.ObjectInputStream.readOrdinaryObject(ObjectInputStream.java:2013)
    at java.io.ObjectInputStream.readObject0(ObjectInputStream.java:1535)
    at java.io.ObjectInputStream.defaultReadFields(ObjectInputStream.java:2231)
    at java.io.ObjectInputStream.readSerialData(ObjectInputStream.java:2155)
    at java.io.ObjectInputStream.readOrdinaryObject(ObjectInputStream.java:2013)
    at java.io.ObjectInputStream.readObject0(ObjectInputStream.java:1535)
    at java.io.ObjectInputStream.readObject(ObjectInputStream.java:422)
    at org.apache.spark.serializer.JavaDeserializationStream.readObject(JavaSerializer.scala:75)
    at org.apache.spark.serializer.JavaSerializerInstance.deserialize(JavaSerializer.scala:114)
    at org.apache.spark.scheduler.ShuffleMapTask.runTask(ShuffleMapTask.scala:85)
    at org.apache.spark.scheduler.ShuffleMapTask.runTask(ShuffleMapTask.scala:53)
    at org.apache.spark.scheduler.Task.run(Task.scala:99)
    at org.apache.spark.executor.Executor$TaskRunner.run(Executor.scala:282)
    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)
    at java.lang.Thread.run(Thread.java:745)

Driver stacktrace:
    at org.apache.spark.scheduler.DAGScheduler.org$apache$spark$scheduler$DAGScheduler$$failJobAndIndependentStages(DAGScheduler.scala:1435)
    at org.apache.spark.scheduler.DAGScheduler$$anonfun$abortStage$1.apply(DAGScheduler.scala:1423)
    at org.apache.spark.scheduler.DAGScheduler$$anonfun$abortStage$1.apply(DAGScheduler.scala:1422)
    at scala.collection.mutable.ResizableArray$class.foreach(ResizableArray.scala:59)
    at scala.collection.mutable.ArrayBuffer.foreach(ArrayBuffer.scala:48)
    at org.apache.spark.scheduler.DAGScheduler.abortStage(DAGScheduler.scala:1422)
    at org.apache.spark.scheduler.DAGScheduler$$anonfun$handleTaskSetFailed$1.apply(DAGScheduler.scala:802)
    at org.apache.spark.scheduler.DAGScheduler$$anonfun$handleTaskSetFailed$1.apply(DAGScheduler.scala:802)
    at scala.Option.foreach(Option.scala:257)
    at org.apache.spark.scheduler.DAGScheduler.handleTaskSetFailed(DAGScheduler.scala:802)
    at org.apache.spark.scheduler.DAGSchedulerEventProcessLoop.doOnReceive(DAGScheduler.scala:1650)
    at org.apache.spark.scheduler.DAGSchedulerEventProcessLoop.onReceive(DAGScheduler.scala:1605)
    at org.apache.spark.scheduler.DAGSchedulerEventProcessLoop.onReceive(DAGScheduler.scala:1594)
    at org.apache.spark.util.EventLoop$$anon$1.run(EventLoop.scala:48)
    at org.apache.spark.scheduler.DAGScheduler.runJob(DAGScheduler.scala:628)
    at org.apache.spark.SparkContext.runJob(SparkContext.scala:1918)
    at org.apache.spark.SparkContext.runJob(SparkContext.scala:1931)
    at org.apache.spark.SparkContext.runJob(SparkContext.scala:1944)
    at org.apache.spark.SparkContext.runJob(SparkContext.scala:1958)
    at org.apache.spark.rdd.RDD$$anonfun$collect$1.apply(RDD.scala:935)
    at org.apache.spark.rdd.RDDOperationScope$.withScope(RDDOperationScope.scala:151)
    at org.apache.spark.rdd.RDDOperationScope$.withScope(RDDOperationScope.scala:112)
    at org.apache.spark.rdd.RDD.withScope(RDD.scala:362)
    at org.apache.spark.rdd.RDD.collect(RDD.scala:934)
    at Main$.hasGraphChanged(Main.scala:168)
    at Main$.main(Main.scala:401)
    at Main.main(Main.scala)
Caused by: java.lang.ClassNotFoundException: Main$$anonfun$3
    at java.net.URLClassLoader.findClass(URLClassLoader.java:381)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:357)
    at java.lang.Class.forName0(Native Method)
    at java.lang.Class.forName(Class.java:348)
    at org.apache.spark.serializer.JavaDeserializationStream$$anon$1.resolveClass(JavaSerializer.scala:67)
    at java.io.ObjectInputStream.readNonProxyDesc(ObjectInputStream.java:1819)
    at java.io.ObjectInputStream.readClassDesc(ObjectInputStream.java:1713)
    at java.io.ObjectInputStream.readOrdinaryObject(ObjectInputStream.java:1986)
    at java.io.ObjectInputStream.readObject0(ObjectInputStream.java:1535)
    at java.io.ObjectInputStream.defaultReadFields(ObjectInputStream.java:2231)
    at java.io.ObjectInputStream.readSerialData(ObjectInputStream.java:2155)
    at java.io.ObjectInputStream.readOrdinaryObject(ObjectInputStream.java:2013)
    at java.io.ObjectInputStream.readObject0(ObjectInputStream.java:1535)
    at java.io.ObjectInputStream.defaultReadFields(ObjectInputStream.java:2231)
    at java.io.ObjectInputStream.readSerialData(ObjectInputStream.java:2155)
    at java.io.ObjectInputStream.readOrdinaryObject(ObjectInputStream.java:2013)
    at java.io.ObjectInputStream.readObject0(ObjectInputStream.java:1535)
    at java.io.ObjectInputStream.defaultReadFields(ObjectInputStream.java:2231)
    at java.io.ObjectInputStream.readSerialData(ObjectInputStream.java:2155)
    at java.io.ObjectInputStream.readOrdinaryObject(ObjectInputStream.java:2013)
    at java.io.ObjectInputStream.readObject0(ObjectInputStream.java:1535)
    at java.io.ObjectInputStream.defaultReadFields(ObjectInputStream.java:2231)
    at java.io.ObjectInputStream.readSerialData(ObjectInputStream.java:2155)
    at java.io.ObjectInputStream.readOrdinaryObject(ObjectInputStream.java:2013)
    at java.io.ObjectInputStream.readObject0(ObjectInputStream.java:1535)
    at java.io.ObjectInputStream.readObject(ObjectInputStream.java:422)
    at org.apache.spark.serializer.JavaDeserializationStream.readObject(JavaSerializer.scala:75)
    at org.apache.spark.serializer.JavaSerializerInstance.deserialize(JavaSerializer.scala:114)
    at org.apache.spark.scheduler.ShuffleMapTask.runTask(ShuffleMapTask.scala:85)
    at org.apache.spark.scheduler.ShuffleMapTask.runTask(ShuffleMapTask.scala:53)
    at org.apache.spark.scheduler.Task.run(Task.scala:99)
    at org.apache.spark.executor.Executor$TaskRunner.run(Executor.scala:282)
    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)
    at java.lang.Thread.run(Thread.java:745)

Похоже, что все они регистрируются и получают доступ для запуска этого приложения, но все равно терпят неудачу.

Я попытался запустить простую аппроксимацию Pi в искровой оболочке, и она хорошо работала и распределялась по кластеру. Я не знаю, что это может быть, я пробовал множество методов, предложенных здесь (настройка env для JARS на каждом узле, использование SparkConf.addJars для их добавления вручную и т. д.), и я все еще получаю эту ошибку.

Кто-нибудь имеет представление о том, что это может быть?

Большое спасибо.


java apache-spark scala cluster-computing spark-graphx
person Jérémie Pereyrol    schedule 08.06.2017    source источник
comment
Что делает generateGraph?   -  person Jacek Laskowski    schedule 12.06.2017
comment
generateGraph создать график (тот, что из graphx) на основе количества вершин и плотности. Каждая вершина содержит свой VertexId и цвет (обозначенный как int), а каждое ребро имеет только строковый атрибут, состоящий из конкатенации srcId и dstId. Я создаю свои ребра и вершины, используя sparkContext.makeRDD(array), где массив представляет собой массив Tuple2 VertexId, Int для вершин и массив ребер для ребер.   -  person Jérémie Pereyrol    schedule 12.06.2017

Ответы (2)


arrow_upward
1
arrow_downward

В коде показан весь код?! Если да, то дело именно в этом.

Оберните свой код внутри объекта, скажем, object SparkApp с методом ввода main, и начните сначала.

object SparkApp {
  def main(args: Array[String]): Unit = {
    // ...your code here
  }
}

Вы также можете использовать object SparkApp extends App, но известно, что это иногда приводит к сбоям.

Я настоятельно рекомендую использовать последнюю версию Spark 2.1.1.

person Jacek Laskowski    schedule 09.06.2017
comment
Я только что отредактировал код, но, как я сказал ниже, он работает в локальном режиме ('.setMaster(local[*])'). Я должен работать с 2.1.0, потому что я работаю в лаборатории, которая использует эти версии и выиграла. т обновление. - person Jérémie Pereyrol; 12.06.2017
comment
Код не полный, потому что он занял бы слишком много места. - person Jérémie Pereyrol; 12.06.2017

arrow_upward
1
arrow_downward

У меня такая же проблема, и я нашел ответ, чтобы исправить это. код, на который вы можете ссылаться:

import org.apache.spark.{SparkConf, SparkContext}

/*
./spark-submit
 --master spark://zaku3deair:7077
 --class Main
 /Users/zaku3/IdeaProjects/First/target/First-1.0.0.jar
 */
object Main {
  def main(args: Array[String]):Unit = {
    println("Hello!")
    val conf = new SparkConf().setAppName("Scala best")
    var sc: SparkContext = null
    conf.set("spark.jars", "/Users/zaku3/IdeaProjects/First/target/First-1.0.0.jar")
    conf.set("spark.driver.extraClassPath", "/Users/zaku3/IdeaProjects/First/target/First-1.0.0.jar")
    conf.set("spark.executor.extraClassPath", "/Users/zaku3/IdeaProjects/First/target/First-1.0.0.jar")
    var master = conf.get("spark.master", "local")
    // force to running on cluster
    master = "spark://zaku3deair:7077"
    conf.setMaster(master)
    sc = new SparkContext(conf)
    val rdd = sc.parallelize(1 to 9)
    println(rdd.count())
    println(rdd.reduce(_+_))
    sc.stop()
  }
}

Надеюсь, что это поможет вам.

person user3462208    schedule 15.12.2018