Я создаю систему, которая должна обрабатывать огромное количество данных, и мне нужно понимать, как работает оператор группы уменьшения.
У меня есть набор данных, в котором я применяю groupby, а затем reduceGroup. Как ведет себя итератор, переданный в функцию reduceGroup? это ленивый итератор, который загружает данные по запросу, или нетерпеливый, который подготавливает все данные в памяти при их создании?
Я использую scala api во flink 0.9 milestone1
Flink выполняет группировку для groupReduce с помощью оператора сортировки. Оператор сортировки получает определенный бюджет памяти для сортировки. Пока данные попадают в этот бюджет, сортировка будет происходить в памяти. В противном случае сортировка становится внешней сортировкой слиянием и переносится на диск. Flink считывает отсортированный поток данных и применяет функцию groupReduce «на лету». Данные группы не полностью считываются в памяти до применения функции. Следовательно, вы можете обрабатывать очень большие группы, если пользовательская функция не материализует записи группы.
