Я использую Luigi для создания задач анализа данных, включая построение графиков с помощью matplotlib. Кажется, что одновременные запуски построения графика matplotlib вызывают проблему, которая приводит к преждевременному возврату из задачи, по...

Я новичок в этой области, поэтому не знаю точной терминологии, извините за это База вопросов: хотите автоматизировать обработку пакетного слоя Проблема: я не могу понять, как людям удается запускать большие команды Hadoop, такие как...

Я пытаюсь создать псевдоним для своей задачи Луиджи. Обычно, чтобы вызвать его, я набираю luigi --module myTask --parameters cats Однако я хочу создать псевдоним, чтобы сократить его до myTask --parameters cats , поэтому я пошел к своему...

Я работаю над конвейером Luigi, который проверяет, существует ли файл, созданный вручную, и если да, то переходит к следующим задачам: import luigi, os class ExternalFileChecker(luigi.ExternalTask): task_namespace='MyTask' path =...

Я пытаюсь настроить механизм повтора Луиджи так, чтобы неудачные задачи повторялись несколько раз. Однако, хотя задача повторяется успешно, Луиджи завершает свою работу безуспешно: ===== Luigi Execution Summary ===== Scheduled 3 tasks of which:...

Краткая версия: Есть ли в Python планировщик задач, который может делать то, что делает gmake? В частности, мне нужен планировщик задач, рекурсивно разрешающий зависимости. Я посмотрел на Луиджи, но, похоже, он разрешил только прямые...

Вот хороший частичный ответ на мою проблему: гибкий конвейер Luigi и сквозная передача параметров У меня такой же конвейер, но я хочу настроить его с помощью пользовательской конфигурации ( не luigi.cfg) / taskC -> taskB -> taskA -...

У меня есть рабочий процесс luigi, который загружает кучу больших файлов через ftp и помещает их на s3. У меня есть одна задача, которая читает список файлов для загрузки, а затем создает кучу задач, которые фактически выполняют загрузки Идея...

Пример использования: некоторые задачи представляют собой длительные пакетные задания, на выполнение которых уходит несколько часов, необходимо проверить, что было выполнено, а что не удалось в заданную дату, прежде чем решать, какую дату выполнить...

Я просматриваю несколько планировщиков рабочих процессов с открытым исходным кодом для DAG заданий с разнородным использованием ОЗУ. Планировщик должен не только планировать число потоков, меньшее максимального, но и поддерживать общий объем...

Я работаю над созданием своего первого конвейера Luigi, и в настоящее время я тестирую задачи индивидуально, прежде чем строить свои зависимости. Во время тестирования я использую версию следующего основного метода для построения задачи: if...

Я пытаюсь перейти по ссылке учебника Луиджи-Джупитера: Учебник Луиджи Мне удалось настроить среду, но мне сложно добавить первую задачу в конвейер. Я использовал nano file.py для создания файла python и добавил следующий код: import os...