настроить конвейер с пользовательской конфигурацией в luigi

Вот хороший частичный ответ на мою проблему: гибкий конвейер Luigi и сквозная передача параметров

У меня такой же конвейер, но я хочу настроить его с помощью пользовательской конфигурации (не luigi.cfg)

/ taskC -> taskB -> taskA 
- taskC -> taskB -> taskA 
\ taskC -> taskB -> taskA

Файл конфигурации выглядит так:

[servername]
username=name
password=password

[servername2]
username=name2
password=password2

[servername3]
username=name3
password=password3

Итак, я начал так:

class configure(luigi.WrapperTask):
    configname = luigi.Parameter()
        def run(self):
            with self.input().open('r') as file ini:
                for i in sections:
                    # read section from ini 

        def requires(self):
            tasks = []
            # here I also need for-loop
            return tasks

Пожалуйста, помогите реализовать: FOR-LOOP 1. прочитать ini-файл 2. прочитать следующий раздел 3. выполнить рабочий процесс 4. перейти к 1 /FOR-LOOP


person GarfieldCat    schedule 04.11.2017    source источник
comment
Вы когда-нибудь догадывались об этом?   -  person sgerbhctim    schedule 28.10.2019