Я использую EMR для обработки журналов. Так что в основном это инструмент командной строки, который запускает несколько кластеров, а затем настраивает часть обработки. Проблема, с которой я сталкиваюсь, заключается в том, что когда несколько человек одновременно пытаются использовать этот инструмент. Он пытается запустить кластер для каждого из них, тем самым достигая MAX_LIMIT, равного 50. Я не могу создать и оставить кластер постоянно работающим, так как он может простаивать и повлечет за собой затраты.
Как мне обработать эту часть внутри скрипта. Кроме того, как я могу установить приоритет при уничтожении кластера EMR и настройке нового onw для запроса с высоким приоритетом.
Любые указатели будут высоко оценены.
