Публикации по теме 'multiprocessing'
Распараллеливание с многопроцессорной обработкой в Python
Выполняйте задачи по обработке и анализу данных параллельно, чтобы сократить время вычислений.
Эта статья даст интуитивное представление о том, как работает многопроцессорная обработка, и о связанных шагах по ее использованию для параллельного выполнения ваших заданий. Я предоставлю примеры функций, использующих как pandas, так и numpy для параллельного выполнения ресурсоемких вычислительных задач, чтобы уменьшить временную сложность. Ниже приводится план этой статьи:
Оглавление..
Панды и многопроцессорность: как создавать фреймы данных параллельно
Сценарий: чтение большого количества файлов xls с помощью pandas преобразует их в фреймы данных и объединяет их в один фрейм данных.
Простой и легкий способ сделать это - выполнить следующее:
Прочтите файл xls Создать фрейм данных Добавить фрейм данных в список Объедините список фреймов данных в один фрейм данных
Это будет работать, но у него есть большой недостаток: при этом не используются возможности современных операционных систем: выполнять задачи параллельно, а также не..
Многопроцессорность в Python с FTP
В то время как другие современные языки программирования поддерживают облегченные потоки или шаблон async/await, Python предпочитает параллелизм немного старомодным способом, используя дочерние процессы. Здесь у меня есть краткое введение в многопроцессорный пакет с примерами.
Проблема
Загрузка с FTP, распаковка и запись на S3 занимает много времени. Обработка 35 ГБ данных занимает 40 минут. Должна быть возможность быстрее обрабатывать все конвейеры, не так ли?
Бассейн
Самый..
Начало программирования на Python - часть 15
Введение в мультиобработку
В предыдущей статье мы рассмотрели многопоточность.
Начало программирования на Python - часть 14 Введение в многопоточность medium.com
Здесь мы рассмотрим другую библиотеку, предоставляемую Python, под названием multiprocessing . Подобно threading , multiprocessing позволяет нам запускать код одновременно; однако этот код работает на нескольких процессорах. Начнем с определения.
Глобальная..
Вопросы по теме 'multiprocessing'
Многопроцессорность или многопоточность?
Я делаю программу для запуска симуляций на Python с интерфейсом wxPython. В программе вы можете создать симуляцию, и программа визуализирует (= вычисляет) ее для вас. Рендеринг иногда может занимать очень много времени.
Когда пользователь...
8891 просмотров
schedule
06.09.2023
Наследуется ли зарегистрированный обработчик atexit порожденными дочерними процессами?
Я пишу программу демона, используя python 2.5. В основном процессе обработчик выхода зарегистрирован в модуле atexit , кажется , что обработчик вызывается при завершении каждого дочернего процесса, чего я не ожидал.
Я заметил, что это поведение...
1944 просмотров
schedule
22.08.2022
Python - простой способ реализовать простой счетчик для многопроцессорной обработки?
Привет всем, сейчас я использую многопроцессорность в Python. и мне просто интересно, существует ли какая-то простая переменная счетчика, которую каждый процесс, когда они завершили обработку некоторой задачи, мог бы просто увеличиваться (вроде того,...
7591 просмотров
schedule
07.09.2023
очередь многопроцессорной обработки python: независима ли установка от получения?
Является ли putting объектом в многопроцессорной очереди независимый от getting объект от него?
Другими словами, будет ли putting объект блокировать процесс P1 , если другой процесс P2 getting от него?
Обновление: я предполагаю...
794 просмотров
schedule
31.03.2023
Графический интерфейс wxpython и многопроцессорность — как отправить данные обратно из долго выполняющегося процесса
Попытка запустить трудоемкую задачу из графического интерфейса wxpython. Основная идея состоит в том, чтобы запустить длительную задачу из графического интерфейса (нажав кнопку), а затем из нее следует обновить статический текст в диалоговом окне....
2316 просмотров
schedule
08.06.2022
Как передать файловые дескрипторы от родителя к дочернему в python?
Я использую многопроцессорный модуль и использую пулы для запуска нескольких рабочих. Но файловые дескрипторы, открытые в родительском процессе, закрыты в рабочих процессах. Я хочу, чтобы они были открыты..! Есть ли способ передать файловые...
6056 просмотров
schedule
04.04.2022
Многопроцессорность Python постоянно порождает процессы pythonw.exe, не выполняя никакой реальной работы.
Я не понимаю, почему этот простой код
# file: mp.py
from multiprocessing import Process
import sys
def func(x):
print 'works ', x + 2
sys.stdout.flush()
p = Process(target= func, args= (2, ))
p.start()
p.join()
p.terminate()
print...
5312 просмотров
schedule
19.05.2023
программное выполнение и завершение длительного пакетного процесса в Python
Я искал способ запустить и завершить длительные «пакетные задания» в Python. Прямо сейчас я использую «os.system ()» для запуска длительного пакетного задания внутри каждого дочернего процесса. Как вы могли догадаться, «os.system ()» порождает новый...
1043 просмотров
schedule
17.06.2023
пул многопроцессорности python, дождитесь процессов и перезапустите пользовательские процессы
Я использовал многопроцессорность python и жду всех процессов с этим кодом:
...
results = []
for i in range(num_extract):
url = queue.get(timeout=5)
try:
print "START...
13634 просмотров
schedule
14.07.2023
Проблемы при выполнении многопроцессорной задачи в Perl
Я пытаюсь выполнить базовую задачу многопроцессорности, и это то, что у меня есть. Прежде всего, я не знаю, как правильно сделать эту программу неблокирующим процессом, потому что, когда я жду ответа дочернего элемента (с waitpid ), другие процессы...
387 просмотров
schedule
03.02.2022
Многопоточность Python, организация очередей, асинхронизация Что все это значит?
Недавно я экспериментировал с многопоточностью в Python, и мне было любопытно, когда что использовать.
Например, когда следует использовать многопоточность вместо многопроцессорной обработки? Каков был бы сценарий, когда я должен использовать...
639 просмотров
schedule
28.05.2024
python: совместное использование огромных словарей с использованием многопроцессорности
Я обрабатываю очень большие объемы данных, хранящиеся в словаре, используя многопроцессорность. По сути, все, что я делаю, это загружаю некоторые подписи, хранящиеся в словаре, строю из него общий объект dict (получая объект 'proxy', возвращаемый...
5022 просмотров
schedule
03.07.2023
Многопроцессорность Python: синхронизация файлового объекта
Я пытаюсь создать файл, подобный объекту, который должен быть назначен sys.stdout/sys.stderr во время тестирования для обеспечения детерминированного вывода. Это не должно быть быстро, просто надежно. То, что у меня есть на данный момент, почти...
5534 просмотров
schedule
13.05.2024
Очереди Python, похоже, умирают
У меня есть основной процесс, который порождает процессы, а затем эти процессы добавляют задания в очередь, которую основной процесс использует для создания большего количества процессов. И это работает нормально в течение примерно 20 секунд, а затем...
479 просмотров
schedule
26.03.2023
TypeError: объект AutoProxy не является итерируемым - многопроцессорность
рассмотрим следующий код сервера:
from multiprocessing.managers import BaseManager, BaseProxy
def baz(aa) :
print "aaa"
l = []
for i in range(3) :
l.append(aa)
return l
class SolverManager(BaseManager): pass
manager =...
2924 просмотров
schedule
27.07.2022
Каков питонический способ работы с рабочими процессами, которые должны координировать свои задачи?
В настоящее время я изучаю Python (из фона Java), и у меня есть вопрос о том, для чего я бы использовал потоки в Java.
Моя программа будет использовать воркеры для периодического чтения некоторых данных из какого-то веб-сервиса. Каждый работник...
501 просмотров
schedule
16.01.2023
Есть ли способ ограничить программу одним процессором, не заботясь о том, какой?
У меня есть программа, которая время от времени работает со сбоями, и мне интересно, могут ли проблемы быть связаны с разными потоками, работающими на разных ядрах, обрабатывающих чтение и запись в другом порядке (я знаю, что модель памяти x86...
290 просмотров
schedule
12.02.2024
RMagick (ImageMagick) зависает при запуске в разветвленном процессе
В экземпляре Rails 3.0.0 с Ruby 1.8.7 я пытаюсь передать некоторые задачи обработки изображений с помощью RMagick (2.13.0) в отдельный процесс с помощью fork(). Однако дочерний процесс, в котором происходит обработка изображения, ВСЕГДА зависает при...
594 просмотров
schedule
23.03.2024
Многопроцессорная очередь в Python
Я пытаюсь использовать очередь с библиотекой многопроцессорности в Python. После выполнения приведенного ниже кода (операторы печати работают), но процессы не завершаются после того, как я вызываю соединение с очередью, и они все еще живы. Как я...
32247 просмотров
schedule
03.09.2022
Передача объектов wxPython в качестве аргументов мультипроцессора
В настоящее время я пишу программу на python с графическим интерфейсом, используя wxpython. В программе есть функция, которая оценивает несколько скриптов python и, следовательно, зависает в графическом интерфейсе. Я пытаюсь использовать отдельный...
439 просмотров
schedule
20.12.2022
