У меня есть около миллиона строк данных с привязанными широтами и долготами, и это еще не все. Даже сейчас чтение данных из файла SQLite (я читаю его с помощью pandas, а затем создаю точку для каждой строки) занимает много времени.
Теперь мне нужно сделать пространственный стык над этими точками, чтобы получить почтовый индекс для каждой из них, и я действительно хочу оптимизировать этот процесс.
Поэтому мне интересно: есть ли относительно простой способ распараллелить эти вычисления?
Я предполагаю, что вы уже внедрили GeoPandas и все еще испытываете трудности? вы можете улучшить это путем дальнейшего хеширования ваших данных coords. аналогично тому, как Google хэширует свои поисковые данные. Некоторые базы данных уже предоставляют поддержку этих типов операций (например, mongodb). Представьте, что вы взяли первую (левую) цифру своих координат и поместили каждый набор соответствующих данных в отдельный файл sqlite. каждая цифра может быть хешем, указывающим на нужный файл. теперь время поиска увеличилось в 20 раз (range(-9,10)), при условии, что поиск по хешу занимает минимальное время по сравнению
Как оказалось, наиболее удобным решением в моем случае является использование функции pandas.read_SQL с конкретным параметром chunksize. В этом случае он возвращает генератор блоков данных, которые можно эффективно передать в mp.Pool (). Map () вместе с заданием; В этом (моем) случае работа состоит из 1) чтения географических границ, 2) пространственного соединения фрагмента, 3) записи фрагмента в базу данных.
Этот метод полностью зависит от вашего пространственного масштаба, но один из способов распараллеливания соединения - это разделение полигонов на субполигоны и последующая разгрузка работы для разделения потоков в отдельных ядрах. В этом руководстве r-tree geopandas демонстрируется этот метод, разделяя большой многоугольник на множество мелких и пересекающий каждый большой набор точек. Но опять же, это работает только в том случае, если ваш пространственный масштаб подходит: то есть несколько многоугольников и много точек (например, несколько многоугольников почтового индекса и миллионы точек внутри и вокруг них).
