Вопросы по теме 'process-pool'

Используйте tqdm с многопроцессорной обработкой для нескольких индикаторов выполнения
Я хочу отслеживать прогресс нескольких рабочих, которые являются разными процессами. Для каждого подпроцесса у меня есть свой индикатор выполнения, но он не работает должным образом с исполнителем ProcessPoolExecutor . def main(): with...
3718 просмотров

Как одновременно подсчитать частоты слов в огромном файле?
Мне нужно подсчитать частоту слов в текстовом файле английских предложений размером 3 ГБ, сжатом gzip, что составляет около 30 ГБ в распакованном виде. У меня есть скрипт с одним потоком с collections.Counter и gzip.open , на завершение уходит...
1937 просмотров

Инициализация многопроцессного пула с последовательным аргументом инициализатора
У меня есть код, подобный следующему: import multiprocessing as mp connection: module.Connection def client_id(): for i in range(mp.cpu_count*2): yield i def initproc(host: str, port: int, client_id: int): global connection...
177 просмотров