Журналы AWS CloudWatch не создаются

Я пытаюсь использовать AWS Glue для запуска задания ETL, которое извлекает данные из Redshift в S3.

  1. Когда я запускаю краулер, он успешно подключается к Redshift и получает информацию о схеме. Соответствующие журналы создаются в группе журналов aws-glue / crawlers.

  2. Когда я запускаю задание ETL, предполагается, что он создает поток журнала в группах журналов aws-glue / jobs / output и aws-glue / jobs / error, но он не может создать такие потоки журнала, и в конечном итоге задание тоже терпит неудачу.

(Я использую управляемую AWS политику AWSGlueServiceRole для сервиса Glue)

Поскольку он не создает никаких журналов, трудно определить причину сбоя задания ETL. Буду признателен, если вы поможете мне решить эту проблему.


amazon-web-services aws-glue
person user_default    schedule 24.08.2017    source источник

Ответы (2)


arrow_upward
4
arrow_downward

В большинстве случаев это связано с тем, что ваш сервис AWS не имеет правильных разрешений (да, даже для простого ведения журналов!).

Добавление чего-то вроде этого к роли Glue может помочь:

{«Версия»: «2012-10-17», «Заявление»: [{«Эффект»: «Разрешить», «Действие»: [«журналы: CreateLogGroup», «журналы: CreateLogStream», «журналы: PutLogEvents»] , "Resource": "arn: aws: logs: :: *"}]}

person Hieron    schedule 24.08.2017
comment
Я уже добавил подобную политику. При запуске задания ETL с S3 на S3 журналы создаются успешно. Проблема в том, что при запуске задания ETL от Aurora (в VPC) до S3 журналы не создаются. - person user_default; 25.08.2017
comment
да, это связано с политикой Glue Service, связанной с Cloudwatch. Требование политики cloudwatch: PutMetricData ---- ›{Effect: Allow, Action: [logs: CreateLogGroup, logs: CreateLogStream, logs: PutLogEvents, logs: AssociateKmsKey], Resource: [arn: aws: logs: *: *: / aws-glue / *]}, - person Carlos Gomez; 28.11.2019

arrow_upward
0
arrow_downward

Я бы удостоверился, что ваша конечная точка и VPC настроены правильно, следуя этим инструкциям:

http://docs.aws.amazon.com/glue/latest/dg/setup-vpc-for-glue-access.html

Мои правила для входящих подключений настроены правильно, но правила для исходящего трафика не установлены, в чем, я думаю, и заключалась проблема.

person Benjamin Rothschild    schedule 13.11.2017