Вопросы по теме 'spark-graphx'
Как отфильтровать граф со смешанными узлами по типам соседних вершин
Этот вопрос касается Spark GraphX. Я хочу вычислить подграф, удалив узлы, которые являются соседями некоторых других узлов.
Пример
[Задача] Сохранить узлы A и узлы B, которые не являются соседями узлов C2.
Входной график:...
1480 просмотров
schedule
26.08.2023
Как вычислить ребра между узлами v, w, на которые указывает один и тот же узел x
Этот вопрос касается Spark GraphX. Имея произвольный граф, я хочу вычислить новый граф, который добавляет ребра между любыми двумя узлами v, w, на которые указывает некоторый узел x. Новые ребра должны содержать указывающий узел в качестве атрибута....
701 просмотров
schedule
25.03.2024
Как я могу получить количество общих ребер в Spark Graphx?
Например, если у меня есть два графа с такими вершинами и ребрами:
import org.apache.spark.graphx._
import org.apache.spark.rdd.RDD
val vertexRdd1: RDD[(VertexId, (String, Int))] = sc.parallelize(Array(
(1L, ("a", 28)),
(2L, ("b",...
957 просмотров
schedule
24.11.2023
Scala и GraphX в Spark
Любая идея, почему мы получаем эти ошибки?
ubuntu@group-3-vm1:~/software/sbt/bin$ ./sbt package
[info] Set current project to hello (in build file:/home/ubuntu/software/sbt/bin/)
[info] Compiling 1 Scala source to...
1268 просмотров
schedule
27.05.2023
Как создать ссылки между вершинами в RDD[(Long, Vertex)] на основе свойства?
У меня есть пользователи: RDD[(Long, Vertex)] коллекция пользователей. Я хочу создать связи между моими объектами Vertex. Правило такое: если две вершины имеют одинаковое значение в выбранном свойстве - назовите его prop1, то связь существует....
287 просмотров
schedule
17.09.2022
Просмотр графика в Spark с помощью GraphX и Zeppelin
В настоящее время я работаю над проектом, используя чужой код. Я понимаю основную концепцию работы этого кода, но не все. С этой целью я пытаюсь проследить небольшой пример через прогон. Я знаю, что могу сделать это с помощью println , но мне бы...
3281 просмотров
schedule
23.07.2023
Edgetriples не транслируются должным образом
Я создал график с помощью graphx, и теперь мне нужно извлечь подграфы из исходного графика. В следующем коде я пытаюсь транслировать edgetriples и фильтровать их для каждого идентификатора пользователя.
class VertexProperty(val id:Long) extends...
57 просмотров
schedule
01.02.2024
Графическая визуализация
Я ищу способ визуализировать график, построенный в Spark Graphx. Насколько я знаю, у Graphx нет методов визуализации, поэтому мне нужно экспортировать данные из Graphx в другую графическую библиотеку, но я застрял здесь. Я наткнулся на этот сайт:...
8898 просмотров
schedule
31.07.2022
Как обрабатывать различные графические файлы для независимой обработки между узлами кластера в Apache Spark?
Допустим, у меня есть большое количество графических файлов, и каждый граф имеет около 500 000 ребер. Я обрабатывал эти файлы графов в Apache Spark, и мне было интересно, как эффективно распараллелить всю работу по обработке графов. Поскольку на...
321 просмотров
schedule
06.06.2024
Spark GraphX: требование не выполнено: недопустимая начальная емкость
Я новичок в Spark, Scala.
Я пытаюсь выполнить подсчет треугольников в этом наборе данных: DataSet для хобби-проект
Это код, который я написал до сих пор:
import org.apache.spark.SparkConf
import org.apache.spark.SparkContext...
550 просмотров
schedule
06.12.2022
Spark JobServer: graphx VertexRDD java.lang.ClassNotFoundException
Я разрабатываю SparkJob на сервере заданий (v0.6.2 spark 1.6.1) с использованием spark graphx и сталкиваюсь со следующим исключением при попытке запустить задание на Spark JobServer:
{
"status": "JOB LOADING FAILED",
"result": {...
231 просмотров
schedule
27.03.2024
java.lang.ClassNotFoundException при отправке приложения scala в автономный искровой кластер
Я пытаюсь использовать кластер Spark с приложением, которое зависит только от scala 2.11 (код в scala), spark 2.1.0 и java 8.
Мой кластер состоит из 2 узлов и 1 мастера, каждый из которых получил все зависимости (jar), файлы проекта в одном месте...
1546 просмотров
schedule
02.10.2022
Spark-graphx - Сильно связанные компоненты
Я новичок в искрах и искровых графах. Я попытался запустить сильно связанные компоненты, но я получаю только триплеты, которые связаны.
Здесь я ищу получение всех вершин (групп вершин), которые только сильно связаны (включая отдельные узлы)....
659 просмотров
schedule
25.09.2023
GraphX pregel и spark Streaming: RDD, помещенные в rddQueue внутри vprog, не обрабатываются.
Я использую прегель GraphX и потоковую передачу искры. Я хочу, чтобы вершинная программа (vprog) создавала RDD и помещала его в rddQueue для обработки.
val queueOfRDDs:Queue[RDD[Int]] = Queue.empty[RDD[Int]]
@transient val...
160 просмотров
schedule
01.10.2023
Apache Spark GraphX: java.lang.ArrayIndexOutOfBoundsException: -1
Мы столкнулись с ошибкой в GraphX при вызове функцииconnectedComponents, из-за которой возникает следующая ошибка java.lang.ArrayIndexOutOfBoundsException: -1 .
Я нашел этот отчет об ошибке: https://issues.apache.org/jira/browse/SPARK-5480...
492 просмотров
schedule
15.12.2022
Как напечатать один val в PartitionBy
У меня есть одна проблема в Apache Spark GraphX, я попытался разбить один граф с помощью этого метода в основном:
graph.partitionBy(HDRF, 128)
HDRF - это метод создания разделов, я хотел бы распечатать val, который находится внутри него, я...
144 просмотров
schedule
29.07.2022
GraphX - файл класса, необходимый для Graph, отсутствует
Я новичок в Scala / Spark. Я пытаюсь скомпилировать и запустить образец кода GraphX. Ссылка на исходный файл: PageRank
Мой код слегка отредактирован, чтобы избежать проблем:
// scalastyle:off println
package org.apache.spark.examples.graphx...
112 просмотров
schedule
03.02.2022
Поиск всех путей между исходной и целевой вершинами в Graphx — Scala
Я хочу получить все вершины и ребра между двумя заданными вершинами (исходной и конечной) в Graphx. Итак, я думаю о том, чтобы найти все пути между двумя вершинами, а затем удалить повторяющиеся ребра.
вот код кратчайшего пути, по которому я...
1133 просмотров
schedule
24.03.2024
Spark Graphx java.lang.OutOfMemoryError
У меня проблема с модулем Spark GraphX. У меня есть кластер из 5 узлов с 23,5 ГБ памяти и 24 ядрами на узел. Я использую spark-shell для отправки своего кода, поэтому я использую Spark в режиме клиента. В моей конфигурации у меня есть 1 главный...
201 просмотров
schedule
16.04.2023
как создать граф из списка ребер с помощью GraphFrame
У меня есть фрейм данных с двумя столбцами, которые являются списком краев, и я хочу создать из него график с помощью pyspark или python. Кто-нибудь может предложить, как это сделать. В R это можно сделать с помощью приведенной ниже команды из igraph...
890 просмотров
schedule
04.05.2022
