Проблема: получить 2000 элементов из базы данных Dynamo и обработать (создать запрос POST из 100 элементов) по партиям (размер пакета = 100).
Вопрос: можно ли как-то добиться этого из любой конфигурации в AWS.
PS: я настроил расписание cron для запуска моей функции Lambda. Я использую Java. Я сделал многопоточное приложение, которое делает это синхронно, но в конечном итоге это резко увеличивает время вычислений.
У меня такая же проблема, и я думаю решить ее следующим образом. Пожалуйста, дайте мне знать, если вы попробуете это.
Расписание задания для получения N элементов из DynamoDB с использованием функции Lambda
Лямбда-функция в # 1 отправит M сообщений в SQS для обработки каждого элемента и запуска лямбда-функций, в этом случае она должна вызывать лямбда-функции M раз. Каждая лямбда-функция будет обрабатывать запрос, указанный в сообщении.
Для этого вам необходимо запланировать событие через CloudWatch, настроить SQS и создать лямбда-функцию, запускаемую событиями SQS.
Честно говоря, я не уверен, что это эффективно с точки зрения цены, но оно должно работать. Предполагая, что ваш размер выборки настолько мал, это должно быть разумно.
Также вы можете попробовать использовать SNS, в этом случае вам не нужно беспокоиться об опросе сообщений SQS.
