Вопросы по теме 'concurrent.futures'
Сервер сокетов Python 3 concurrent.futures работает с ThreadPoolExecutor, но не с ProcessPoolExecutor
Я пытаюсь создать простой сервер сокетов, используя новые классы concurrent.futures. Я могу заставить его нормально работать с ThreadPoolExecutor, но он просто зависает, когда я использую ProcessPoolExecutor, и я не могу понять, почему. Учитывая...
2674 просмотров
schedule
27.04.2023
Каковы преимущества concurrent.futures по сравнению с многопроцессорностью в Python?
Я пишу приложение на Python, и мне нужно одновременно выполнять несколько задач. Модуль multiprocessing предлагает класс Process, а модуль concurrent.futures имеет класс ProcessPoolExecutor. Кажется, что оба используют несколько процессов для...
4831 просмотров
schedule
12.05.2022
ThreadPoolExecutor внутри ProcessPoolExecutor
Я новичок в модуле Futures , и у меня есть задача, которая может быть полезна распараллеливание; но я, кажется, не могу точно понять, как настроить функцию для потока и функцию для процесса. Я был бы признателен за любую помощь, которую кто-либо...
7166 просмотров
schedule
26.10.2023
FutureSession: соединения сокетов не закрыты
Я работаю над программой PyQt, которая в основном собирает данные из Интернета. В этом примере я пытаюсь получить данные с веб-страницы RSS.
Предположим, что self.feed — это страница RSS, содержащая все статьи, а «запись» — это статья....
798 просмотров
schedule
10.04.2022
Отправка фьючерсов в сообщениях Akka в порядке?
Я работаю над реализацией небольшого языка для отправки задач на выполнение и управления потоком выполнения. После отправки задачи в мою систему пользователь получает будущее (для которого он может вызвать блокировку get() или flatMap() ). Мой...
357 просмотров
schedule
27.02.2022
Использование Concurrent.Futures.ProcessPoolExecutor для запуска одновременных и независимых моделей ABAQUS
Я хочу запустить в общей сложности nAnalysis=25 моделей Abaqus, каждая из которых использует X ядер, и я могу одновременно запускать nParallelLoops=5 этих моделей. Если один из текущих 5 анализов завершится, то должен начаться другой анализ,...
1629 просмотров
schedule
27.02.2023
Поддерживает ли Arrayfire python программирование с несколькими графическими процессорами?
Я пытаюсь использовать python arrayFire ( https://github.com/arrayfire/arrayfire-python ) для программирования с несколькими GPU.
Однако, когда я пытаюсь связать его с параллельными фьючерсами (...
213 просмотров
schedule
14.11.2023
Дросселирование блоков Scala Future при использовании onComplete
Я пытаюсь создать много задач с интенсивным использованием ЦП, используя Scala Futures . Поскольку их так много, мне нужно ограничить создание этих заданий (потоков). Для этого я использую:
import java.util.concurrent.ArrayBlockingQueue
import...
1115 просмотров
schedule
23.03.2024
Чтение отдельных каталогов и создание отдельных RDD параллельно с помощью Scala Spark
Мне нужно читать файлы JSON из отдельных исходных каталогов и создавать отдельные таблицы для каждого каталога. Я бы хотел, чтобы это делалось параллельно, но Spark не поддерживает вложенные RDD, поэтому в настоящее время он делает это...
672 просмотров
schedule
06.01.2024
python concurrent.futures.ProcessPoolExecutor: производительность .submit() против .map()
Я использую concurrent.futures.ProcessPoolExecutor , чтобы найти вхождение числа из диапазона чисел. Цель состоит в том, чтобы исследовать степень повышения производительности за счет параллелизма. Для оценки производительности у меня есть элемент...
11283 просмотров
schedule
07.03.2023
Подграф Dask compute с фьючерсами
Я хочу отправить задачу dask, которая будет делать следующее:
Создайте ленивый граф dask с помощью dask.bag ( def fakejob )
Вычислите график из 1. и сохраните его на паркете (эта часть не учитывается, просто мотивация).
Мне нужно сделать...
250 просмотров
schedule
10.03.2022
Параллельные задачи ноутбука Jupyter с concurrent.futures
Я пытаюсь выполнять параллельные задачи в блокноте Jupyter. Надеясь, что кто-то может сказать мне, что я должен делать или чему я должен научиться.
В моем блокноте Jupyter я перебирал аргумент от 1 до 10, который передавался другому скрипту py. Я...
6553 просмотров
schedule
21.10.2023
Интеграция multiprocessing.Process с concurrent.future._base.Future
У меня есть требование создавать дочерние процессы, получать результаты с помощью Future, а затем при необходимости убивать некоторые из них.
Для этого я создал подкласс класса multiprocessing.Process и возвращаю объект Future из метода start()....
530 просмотров
schedule
17.08.2022
Использование ›› в Pharo/Smalltalk
Я реализую фьючерсы в Pharo. Я наткнулся на этот сайт http://onsmalltalk.com/smalltalk-concurrency-playing-with-futures . Я следую этому примеру и пытаюсь воспроизвести его на Pharo. Однако я дошел до этого последнего шага и понятия не имею, что...
930 просмотров
schedule
06.08.2023
Подпроцессы Python для сбора мусора
Вкратце: у меня есть задачи с огромными возвращаемыми значениями, которые потребляют много памяти. Я отправляю их на concurrent.futures.ProcessPoolExecutor . Подпроцессы удерживают память до тех пор, пока не получат новую задачу. Как заставить...
406 просмотров
schedule
09.11.2023
Используйте tqdm с многопроцессорной обработкой для нескольких индикаторов выполнения
Я хочу отслеживать прогресс нескольких рабочих, которые являются разными процессами. Для каждого подпроцесса у меня есть свой индикатор выполнения, но он не работает должным образом с исполнителем ProcessPoolExecutor .
def main():
with...
3718 просмотров
schedule
03.10.2023
Как разделить переменную счетчика между потоками с помощью threadpool.executor и увеличить ее?
Ниже приведен исполнитель пула потоков, который я реализовал в python 3.x.
with ThreadPoolExecutor(max_workers=15) as ex:
f = open(filename, 'r', encoding='UTF-8')
results = {ex.submit(callreadline, files ): files for files in...
930 просмотров
schedule
07.02.2024
с concurrent.futures.ThreadPoolExecutor () в качестве исполнителя: не ждет
Я пытаюсь использовать ThreadPoolExecutor() в методе класса для создания пула потоков, которые будут выполнять другой метод в том же классе. У меня есть with concurrent.futures.ThreadPoolExecutor()... , но он не ждет, и выдается ошибка, говорящая,...
7005 просмотров
schedule
11.02.2023
Как исправить BrokenProcessPool: ошибка для concurrent.futures ProcessPoolExecutor
Используя concurrent.futures.ProcessPoolExecutor, я пытаюсь запустить первый фрагмент кода для параллельного выполнения функции «Calculate_Forex_Data_Derivatives (data, grid_spacing)». При вызове результатов executor_list[i].result() я получаю...
10098 просмотров
schedule
16.03.2024
Параллельный будущий опрос серии блокирующих вызовов
Я пытаюсь создать механизм опроса для длительной задачи в Python. Для этого я использую параллельное Future и опрос с помощью .done() . Задача состоит из множества итераций, которые сами по себе блокируются, и я завернул их в асинхронную функцию....
300 просмотров
schedule
04.07.2023
