Допустим, у меня есть большое количество графических файлов, и каждый граф имеет около 500 000 ребер. Я обрабатывал эти файлы графов в Apache Spark, и мне было интересно, как эффективно распараллелить всю работу по обработке графов. Поскольку на...

По сути, я разработчик Java, и теперь у меня есть возможность поработать над Spark, и я изучил основы API Spark, например, что такое SparkConfig, SparkContaxt, RDD, SQLContaxt, DataFrame, DataSet, а затем я могу выполнить несколько простых простых...

Я новичок в Spark и изучаю его на Cloudera Distr для Hadoop (CDH). Я пытаюсь выполнить функции PageRank и BFS через Jupyter Notebook, что было инициировано с помощью следующей команды: pyspark --packages...

У меня есть автономный кластер pyspark (без доступа к Интернету), где мне нужно установить библиотеку graphframes . Я вручную загрузил банку из здесь , добавил в $SPARK_HOME/jars/, а затем, когда Я пытаюсь использовать его, я получаю следующую...

Запуск spark-shell --packages "graphframes:graphframes:0.7.0-spark2.4-s_2.11" в оболочке bash работает, и я могу успешно импортировать графические кадры 0.7, но когда я пытаюсь использовать его в блокноте scala jupyter следующим образом: import...

Я использую pyspark и graphframes от jupyter. Я могу успешно импортировать pyspark и graphframes, но когда я пытаюсь: from graphframes.lib import Pregel Я получаю следующую ошибку: ImportError: cannot import name 'Pregel' from...

У меня есть около 1 ТБ данных, я сохранил эти данные в файлах вершин и краев для загрузки в Spark GraphFrame для создания графика и выполнения запросов мотива (поиска шаблона) на этом графике. Для каждого пакета этот файл вершин и ребер объемом 1 ТБ...