Чтение/запись объекта NetworkX Graph

Если вы построили это как график NetworkX, то он уже будет в памяти. Я предполагаю, что для этого большого графика вам придется сделать что-то похожее на то, что вы предложили, с отдельными файлами. Но вместо использования отдельных файлов я бы использовал базу данных для хранения каждого узла с соединениями «многие ко многим» между узлами. Другими словами, у вас будет таблица узлов и таблица ребер, а затем, чтобы запросить соседей определенного узла, вы можете просто запросить любые ребра, у которых есть этот конкретный узел на любом конце. Это должно быть быстро, хотя я не уверен, сможете ли вы воспользоваться функциями анализа NetworkX без предварительного построения всей сети в памяти.

Сначала попробуйте pickle; он предназначен для сериализации произвольных объектов.

Пример создания DiGraph и сериализации в файл:

import pickle
import networkx as nx

dg = nx.DiGraph()
dg.add_edge('a','b')
dg.add_edge('a','c')
pickle.dump(dg, open('/tmp/graph.txt', 'w'))

Пример загрузки DiGraph из файла:

import pickle
import networkx as nx

dg = pickle.load(open('/tmp/graph.txt'))
print dg.edges()

Выход:

[('a', 'c'), ('a', 'b')]

Если это недостаточно эффективно, я бы написал вашу собственную процедуру для сериализации:

1. края и
2. узлы (в случае, если узел не инцидентен ни одному ребру).

Обратите внимание, что использование спискового понимания, когда это возможно, может быть намного более эффективным (вместо стандартных циклов for).

Если это недостаточно эффективно, я бы вызвал подпрограмму C++ из Python: http://docs.python.org/extending/extending.html

Я забыл, какую проблему изначально решил решить в StackOverflow, но я наткнулся на этот вопрос и (с опозданием почти на десять лет!) могу порекомендовать Grand, networkx-подобная библиотека, которую мы написали именно для решения этой проблемы:

До

import networkx as nx

g = nx.DiGraph()
g.add_edge("A", "B")
print(len(g.edges()))

После

import grand
from grand.backends import SQLBackend # or choose another!

g = grand.Graph(backend=SQLBackend())
g.nx.add_edge("A", "B")
print(len(g.nx.edges()))

API такой же, как у NetworkX, но данные хранятся в SQL, DynamoDB и т. д.