Можно ли запустить простое задание в диспетчере заданий во Flink?

Я написал задание Flink, которое считывает данные из Kafka и записывает в файл hdfs в формате ORC для HIVE (использует 20 исполнителей). Мне нужно выполнить простое задание, которое каждый час вставляет раздел в таблицу HIVE. Можно ли запустить это простое задание по добавлению разделов в диспетчере заданий?


apache-flink flink-streaming flink-sql
person patel akash    schedule 16.07.2020    source источник

Ответы (1)


arrow_upward
0
arrow_downward

Менеджер по работе играет только координирующую / контролирующую роль. У вас должен быть хотя бы один диспетчер задач.

Однако для выполнения простого задания вы можете использовать мини-кластер, который полностью работает в той же JVM, что и клиент / приложение. Вам нужна LocalStreamEnvironment., созданный

final StreamExecutionEnvironment env = StreamExecutionEnvironment.createLocalEnvironment();

или LocalEnvironment, если вы используете API DataSet (пакетный):

ExecutionEnvironment env = ExecutionEnvironment.createLocalEnvironment();
person David Anderson    schedule 16.07.2020
comment
Можно ли запускать какие-то события каждый час во время трансляции, например, использовать водяной знак или что-то еще? - person patel akash; 17.07.2020
comment
Я хочу сказать да, но я не совсем понимаю, что вы пытаетесь сделать. Кажется, это не связано с этим вопросом, поэтому задайте новый вопрос, и мы можем продолжить с него. - person David Anderson; 17.07.2020