Задание AWS Glue зависает при вызове API клиента AWS Glue с помощью boto3 из контекста выполняющегося задания AWS Glue?

Я пытаюсь создать задание Glue, которое перечисляет все таблицы в базе данных в моем каталоге. Для этого я использую следующий фрагмент кода:

session = boto3.Session(region_name='us-east-2')
glue = session.client('glue')
tables = glue.get_tables(
    DatabaseName='customer1'
)
print tables

Задание зависает примерно на 15 минут, и соединение кажется отклоненным, потому что в конечном итоге я получаю следующую ошибку:

botocore.vendored.requests.exceptions.ConnectTimeout: HTTPSConnectionPool (host = 'glue.us-east-2.amazonaws.com', port = 443): превышено максимальное количество повторных попыток с url: / (Вызвано ConnectTimeoutError (, 'Подключение к клею Истекло время ожидания .us-east-2.amazonaws.com. (время ожидания подключения = 60) '))

Эта проблема специфична для API клея. Я могу использовать S3 API без проблем.

Я прошел через все свои группы безопасности и открыл все порты для трафика из любого места. Я даже добавил правила ссылок на себя. Но это бесполезно.

Я не могу понять, что могло вызвать блокировку соединения. AWS специально блокирует запросы на клей?


amazon-web-services boto3 aws-glue
person Simon Ejsing    schedule 13.06.2018    source источник
comment
Я столкнулся с той же проблемой.   -  person Roger    schedule 19.06.2018
comment
У меня такая же проблема при запуске клиентских команд glue boto из Glue Dev Endpoint. Однако при выполнении обычного задания склеивания все команды boto3 выполняются успешно.   -  person botchniaque    schedule 06.07.2018

Ответы (1)


arrow_upward
1
arrow_downward

Я столкнулся с той же проблемой, что вызовы boto3 на glue или s3 зависали и в конечном итоге истекали.

Я исправил это, изменив идентификатор подсети при создании конечной точки dev. Первоначально я использовал подсеть, которая перенаправляла трафик на Интернет-шлюз. Я перешел на маршрутизацию трафика подсети на внутренний шлюз NAT. Надеюсь это поможет.

person botchniaque    schedule 06.07.2018
comment
Это сработало для вас, возможно, потому, что вы не назначили публичный IP-адрес своему экземпляру. - person Subbu; 14.05.2019