Что такое диспетчер задач, задачи, слоты, параллелизм, ядра процессора во Flink?

Может ли кто-нибудь помочь мне понять значение и разницу между слотами задач, параллелизмом и ядрами процессора в приложении Flink?

Кроме того, если у меня есть кластер EMR с 1 главным узлом и 4 основными узлами. Каждый базовый узел имеет 4 виртуальных ядра, 8 ГиБ памяти и хранилище EBS: 64 ГиБ. В моем коде есть 7 функций плоской карты. (Я не менял конфигурацию по умолчанию) Я хотел бы, чтобы кто-нибудь помог мне понять, сколько диспетчеров задач, параллелизма, задач и слотов задач доступно для моей работы?


amazon-emr apache-flink flink-streaming taskmanager
person ankita.gulati    schedule 26.08.2019    source источник

Ответы (1)


arrow_upward
4
arrow_downward

Определения см. В разделах https://stackoverflow.com/a/53620443/2000823 и https://ci.apache.org/projects/flink/flink-docs-release-1.9/concepts/glossary.html.

Чтобы понять, как подготовлен ваш конкретный кластер, самый простой способ сделать это - посмотреть его веб-интерфейс. Там вы найдете такой обзор

Flink Web Interface, и вы также найдете список диспетчеров задач и их ресурсов, примерно так

Диспетчеры задач

Слот задачи имеет ресурсы для запуска одного параллельного фрагмента вашего приложения; общее количество слотов задач равно максимальному параллелизму кластера. Обычно у каждого диспетчера задач есть один слот, а для каждого слота задач - одно ядро ​​ЦП, но это можно настроить по-разному; Я не знаю, что такое EMR по умолчанию.

Вам также следует изучить график вакансий, который будет выглядеть примерно так

введите здесь описание изображения

чтобы увидеть, как выглядит его топология и какой параллелизм требуется его операторам.

person David Anderson    schedule 27.08.2019
comment
Большое спасибо :) @DavidAndersor - person ankita.gulati; 27.08.2019