У меня есть около 1 ТБ данных, я сохранил эти данные в файлах вершин и краев для загрузки в Spark GraphFrame для создания графика и выполнения запросов мотива (поиска шаблона) на этом графике.
Для каждого пакета этот файл вершин и ребер объемом 1 ТБ необходимо загрузить в GraphFrame, чтобы создать граф и запросить его.
У меня проблема в том, что создание графика происходит медленно. Поэтому я хочу сохранить этот созданный график на S3/диск, чтобы в следующий раз я напрямую загружал этот график и выполнял на нем запросы, которые будут быстрыми. Есть ли способ сделать это, т.е. создать огромный граф с помощью графического фрейма, сохранить его на диске, а в следующий раз напрямую загрузить этот граф в графический фрейм и запросить его.
