AWS Glue возвращает ошибку при выполнении задания

Я хочу сгенерировать формат файла паркета из данных, хранящихся в aws redshift, для которых я создал соединение и искатель для получения информации о данных. Все каталоги базы данных были получены успешно, но при выполнении задания по извлечению данных таблицы, генерации файла паркета и его сохранению в aws s3 AWS Glue выдает следующую ошибку:

Не удалось выполнить обратное разрешение DNS для ip "someIp address"

Однако я могу успешно сгенерировать паркетный файл с хранилищем исходных данных и целевым хранилищем данных AWS S3. Ошибка возникает только тогда, когда я использую свой кластер красного смещения в качестве хранилища исходных данных и S3 в качестве хранилища целевых данных.

Я знаю, что эта ошибка не имеет ничего общего с сервисом Route53, для которого он показывает мне ошибку. Я также проверил свою группу безопасности. Он также разрешает весь входящий трафик в VPC. Я также проверил, что ведро S3 и Redshift находятся в одном регионе. Подсеть тоже правильная.

Нужна помощь. Заранее спасибо.


person Anant Goswami    schedule 12.01.2018    source источник


Ответы (3)


Вам необходимо создать обратную DNS-запись для всех IP-адресов в подсети с красным смещением.

person Rita    schedule 16.03.2018
comment
Можете ли вы поделиться процессом, чтобы сделать то же самое? - person Rajas; 18.02.2019
comment
Документировано здесь aws.amazon.com/blogs/big-data/ - person Davos; 26.07.2019

вы должны включить имя хоста и разрешение DNS.

перейдите в свой VPC> выберите свой VPC> нажмите действия> нажмите Изменить разрешение DNS> нажмите Да> нажмите сохранить

Как и выше, включите DNS-имя хоста для вашего VPC

щелкните действия> щелкните Изменить имя хоста DNS> щелкните Да> щелкните сохранить

person Ajit Nagar    schedule 19.04.2018

Попробуйте установить SG egress rule для связующего соединения для DNS UDP для всех. Протокол UDP, порт 53.

person RakeshL    schedule 09.07.2018