Доступные технологии: Autosys, Informatica, сценарии Unix, базы данных (доступны через информатику)
В настоящее время наша партия работает так: наблюдатели за файлами ищут файл с именем «control.txt», который удаляется, когда канал начинает обрабатываться. Он воссоздается после завершения, что позволяет всем ожидающим «контрольным» заданиям autosys получить управляющий файл и начать обработку каналов данных один за другим.
Однако система разрослась, и некоторые фиды стали более важными, чем другие, и мы ищем способы улучшить наш планировщик, чтобы отдавать приоритет фидам по сравнению с другими.
С текущим дизайном, когда один файл определяет, когда будет запущен следующий канал, это невозможно сделать, и я не смог найти простого решения, чтобы это произошло.
Пример:
1. Feed A is processing
2. Feed B, Feed C, Feed X, Feed F come in while Feed A is processing
3. Need to ensure that Feed B is processed next, even though C, X, F are ready.
4. C, X, F have a lower priority than A and B, but have the same priority and can process in any order
