Вопросы по теме 'python-multiprocessing'
Многопроцессорность Python и сериализация данных
Я запускаю сценарий на школьном компьютере, используя модуль multiprocessing . Я часто сериализую данные. Это можно резюмировать кодом ниже:
import multiprocessing as mp
import time, pickle
def simulation(j):
data = []
for k in...
1519 просмотров
schedule
09.01.2023
Модуль многопроцессорности Python: объединение процессов с тайм-аутом
Я занимаюсь оптимизацией параметров сложной симуляции. Я использую многопроцессорный модуль для повышения производительности алгоритма оптимизации. Основы многопроцессорной обработки я изучил на http://pymotw.com/2/multiprocessing/basics.html ....
30274 просмотров
schedule
18.06.2022
Многопроцессорный пул apply_async
Я играю с многопроцессорностью и особенно с пулом.
import multiprocessing
import os
import time
results = []
def task(args):
print "Start Process", os.getpid(), "with args", args, " timing", time.time(
)
time.sleep(10)
print "End...
3091 просмотров
schedule
03.09.2023
Функции массовой записи PyMongo с многопроцессорностью и генераторами
PyMongo поддерживает генераторы для пакетной обработки с помощью sDB.insert(iter_something(converted)) . Функции массовой записи, которые выполняют операции записи в пакетах, чтобы уменьшить количество сетевых циклов и увеличить пропускную...
1123 просмотров
schedule
15.07.2022
Пул процессов Python не создает ожидаемого количества процессов
Я пытаюсь написать простую программу, используя модуль пула Python. Вот мой код:
from multiprocessing import Pool
from multiprocessing.pool import ApplyResult
import time
import os
def unwrap_self_f(arg, **kwarg):
print 'inside unwrap_self_f'...
83 просмотров
schedule
23.03.2024
Когда я использую метод соединения в многопроцессорном модуле?
Я изучаю модуль многопроцессорности. Я нашел эти примеры в документации на python.org:
from multiprocessing import Process
def f(name):
print('hello', name)
if __name__ == '__main__':
p = Process(target=f, args=('bob',))
p.start()...
120 просмотров
schedule
18.05.2023
Ошибка многопроцессорности Python с методами класса
Я пишу программу, в которой у меня есть объектно-ориентированный код, в котором я пытаюсь выполнять многопроцессорную обработку. Я получал ошибки рассола, потому что по умолчанию python может сериализовать функции, но не методы классов. Поэтому я...
1408 просмотров
schedule
11.06.2022
Многопроцессорное разделение задач
У меня есть две разные задачи, которые я хочу разделить между процессами. У меня есть одна задача, которая состоит из получения ответов с URL-адресов и записи ответов в Queue (многопроцессорная очередь, а не многопоточность), над которой я хотел...
73 просмотров
schedule
27.05.2023
Создавайте новые TCP-соединения для каждого HTTP-запроса в python
Для моего проекта в колледже я пытаюсь разработать генератор трафика на основе Python. Я создал 2 машины CentOS на vmware, и я использую 1 в качестве моего клиента и 1 в качестве моей серверной машины. Я использовал метод псевдонимов IP, чтобы...
684 просмотров
schedule
30.10.2023
Системная ошибка в многопроцессорной обработке
Я использую многопроцессорность для выполнения функции для итеративных аргументов. Для слишком длинных массивов в аргументе я получаю следующее сообщение об ошибке:
<multiprocessing.pool.Pool object at 0x545912490>
Exception in thread...
354 просмотров
schedule
08.01.2024
Взаимоблокировки при использовании очередей и многопроцессорной обработки
Я не понимаю эту часть документа по многопроцессорности ( python.org ) и цитирую:
«Пример, который приведет к тупику, следующий:
from multiprocessing import Process, Queue
def f(q):
q.put('X' * 1000000)
if __name__ == '__main__':...
485 просмотров
schedule
14.05.2024
функция оценивается только тогда, когда она вызывается из приложения, но не когда она вызывается из apply_async
Я прочитал process-or-pool-for- что я делаю и когда использовать-применить-применить-асинхронную-или-карту , и я надеялся, что понимаю разницу между apply и apply_async . Но у меня есть этот код, который возвращает желаемый результат только...
219 просмотров
schedule
12.02.2024
Одновременное чтение массивов numpy параллельно
Рассмотрим следующее:
fine = np.random.uniform(0,100,10)
fine[fine<20] = 0 # introduce some intermittency
coarse = np.sum(fine.reshape(-1,2),axis=1)
fine — это временной ряд величин (например, количество осадков). coarse — это тот же...
666 просмотров
schedule
04.03.2024
Многопроцессорные процессы в состоянии непрерывного сна (D) при запуске из iPython Notebook
Я выполняю большое параллельное вычисление сопоставления из ноутбука iPython. Я сопоставляю кадр данных по предмету и условию с функцией прогнозирования машинного обучения, и я хочу, чтобы каждый предмет и условие были распределены между 20 ядрами....
919 просмотров
schedule
15.03.2023
_multiprocessing.SemLock не реализован при работе на AWS Lambda
У меня есть короткий код, который использует пакет multiprocessing и отлично работает на моем локальном компьютере.
Когда я загрузил на AWS Lambda и запустил там, я получил следующую ошибку (stacktrace обрезан):
[Errno 38] Function not...
9117 просмотров
schedule
25.05.2023
scikit Learn LatentDirichletAllocation зависает после многопроцессорных и URL-запросов
Как правило, мой код Python выполняет следующие три шага.
запустить multiprocess, чтобы очистить результаты поиска от поисковой системы
очищать текст с каждого URL-адреса в списке (без многопроцессорности), используя библиотеку запросов python...
142 просмотров
schedule
23.03.2024
Поведение многопроцессорной очереди Python
У меня есть этот код:
def f(x, y):
def _f(x, y, queue):
res = get_data(x, y)
queue.put(res)
q = Queue()
p = Process(target=_f, args=(x, y, q))
p.start()
res = q.get()
p.join()
return res
Это...
636 просмотров
schedule
19.07.2023
Python 2 для Python 3: не удается заставить работать многопроцессорность
Я перемещаю свой код с python 2.7 на python 3.5 и не могу заставить работать мой многопроцессорный код, что-то вроде следующего кода. "somemodule.py" в том же каталоге, что и основной скрипт .
import multiprocessing as mp
# somemodule is in the...
1627 просмотров
schedule
21.07.2022
Будет ли уничтожение скрипта Python, вызывающего процессы оболочки, также убивать процессы оболочки?
Если у меня есть такой код в файле this_script.py:
import subprocess
subprocess.Popen(["python", "another_script.py"])
и я звоню
python this_script.py
и убить процесс во время его работы, убьет ли он подпроцесс?
Изменить: я...
246 просмотров
schedule
13.09.2023
модуль многопроцессорности python: странное поведение и загрузка процессора при использовании пула
Я использую многопроцессорную библиотеку Python, чтобы ускорить некоторый код (метод наименьших квадратов, соответствующий scipy).
Он отлично работает на 3-х разных машинах, но показывает странное поведение на 4-й машине.
Код:
import numpy...
675 просмотров
schedule
22.11.2023
