У меня есть два задания в aws Glue. Оба задания могут успешно выполняться вручную. И я определил триггер, который запускает задание 2 при успешном запуске задания 1. Но триггер не работает. Кто-нибудь знает, где хранятся события заданий или как их отлаживать?
Где хранятся события заданий aws клея?
Ответы (1)
Вы должны создать еще один триггер по требованию, который запускает job1.
Вот как теперь спроектирован AWS Glue: зависимые задания запускаются только в том случае, если завершающееся задание было запущено триггером (не запускалось ad-hoc). Чтобы создать цепочку зависимостей заданий, запустите первое задание в цепочке с помощью расписания или триггера по запросу. Первоначально мы думали, что мы хотели, чтобы задания тестировались изолированно, и как только каждое задание выглядит хорошо, клиенты могут создавать рабочие процессы и запускать их.
AWS Glue отправляет события в CloudWatch, чтобы вы могли создать правило CloudWatch для вызова лямбда, перенаправления в SQS/SNS и т. д.
person
Yuriy Bondaruk
schedule
24.07.2018
