Очередь подпроцессов Python Watchdog

Я скопировал скрипт сторожевого таймера Python со следующего веб-сайта: https://www.michaelcho.me/article/using-pythons-watchdog-to-monitor-changes-to-a-directory

import time
from watchdog.observers import Observer
from watchdog.events import FileSystemEventHandler


class Watcher:
    DIRECTORY_TO_WATCH = "/path/to/my/directory"

    def __init__(self):
        self.observer = Observer()

    def run(self):
        event_handler = Handler()
        self.observer.schedule(event_handler, self.DIRECTORY_TO_WATCH, recursive=True)
        self.observer.start()
        try:
            while True:
                time.sleep(5)
        except:
            self.observer.stop()
            print "Error"

        self.observer.join()


class Handler(FileSystemEventHandler):

    @staticmethod
    def on_any_event(event):
        if event.is_directory:
            return None

        elif event.event_type == 'created':
            # Take any action here when a file is first created.
            print "Received created event - %s." % event.src_path
            # Build up queue of subtasks here and let another thread/process 
            # take care of it so that main process can continue.

        elif event.event_type == 'modified':
            # Taken any action here when a file is modified.
            print "Received modified event - %s." % event.src_path


if __name__ == '__main__':
    w = Watcher()
    w.run()

Этот скрипт отлично работает для меня, но у меня есть некоторые дополнительные требования.

  1. Вместо печати текста я хотел бы запустить дополнительный процесс (скрипт Python), который может занять несколько минут. Основной сценарий не должен ждать завершения этого процесса, а вместо этого продолжать проверять наличие новых или измененных файлов.

  2. Запускаемые вторичные процессы не могут обгонять друг друга, поэтому их необходимо поместить в какую-то очередь, которую необходимо обрабатывать последовательно.

Какой метод/пакет подходит для выполнения этих требований? Я кратко рассмотрел многопроцессорность и асинхронность, но не уверен в правильной реализации.

Моя общая идея заключается в том, что отдельный процесс/поток должен запускаться по типу события, который проверяет очередь и проходит один за другим. В идеале этот вторичный поток/процесс завершает оставшуюся очередь, когда основной процесс закрывается.


python queue python-asyncio multiprocessing watchdog
person GdvJ    schedule 04.12.2018    source источник

Ответы (1)


arrow_upward
0
arrow_downward

Я использовал этот шаблон для сторожевого таймера. on_any_event в моем случае немного чувствителен.

Ответ для 1.: Вы можете поставить что угодно вместо print. Функция, метод, цикл и т. д. Watcher будут продолжать выполняться и вызывать Handler() при возникновении события.

Думаю, вам нужно уточнить, что вы хотите делать после вызова on_any_event.

class Handler(FileSystemEventHandler):

@staticmethod
def on_any_event(event):
    if event.is_directory:
        return None

    elif event.event_type == 'created':
        return run_function()

    elif event.event_type == 'modified':
        return run_other_function()

def run_function():
    W = '36 Chambers\n'
    with open('Wu-Tang.txt', '') as wu:
        wu.write(W) 
        wu.close()

def run_other_function():
    _W = 'The RZA the GZA.\n'
    with open('Wu-Tang.txt', 'a') as _wu:
        _wu.write(_W) 
        _wu.close()



if __name__ == '__main__':
    w = Watcher()
    w.run()
person Axel Foley    schedule 07.10.2019