Контрольная точка во Flink не работает с функцией CoFlatMapFunction

Привет, я пытаюсь выполнить контрольную точку в одном из моих модулей flink, в котором я использую CoFlatMapFunction для объединения с потоками, если я закомментирую контрольную точку CoFlatMapFunction, работает, если раскомментировать снова, она не работает. я обновил контрольную точку следующим образом: документация на веб-сайте flink, в котором говорится, что для итеративных потоков добавлен дополнительный атрибут для принудительного выполнения события контрольной точки после этого, также он не работает, пожалуйста, найдите ниже настройки контрольной точки

StateBackend stateBackend = new RocksDBStateBackend(path, true);

//env.enableCheckpointing(interval, CheckpointingMode.EXACTLY_ONCE);

env.enableCheckpointing(interval,CheckpointingMode.EXACTLY_ONCE,true);

 env.getCheckpointConfig().setMinPauseBetweenCheckpoints(1000);

 env.getCheckpointConfig().setCheckpointTimeout(120000);
 
 env.getCheckpointConfig().setMaxConcurrentCheckpoints(2);

 env.getCheckpointConfig().enableExternalizedCheckpoints(CheckpointConfig.ExternalizedCheckpointCleanup.RETAIN_ON_CANCELLATION);
 
 env.getCheckpointConfig().setPreferCheckpointForRecovery(true);

 env.setStateBackend(stateBackend);

Я вижу, что статус задачи завершен, но я не могу видеть журналы, так как

введите описание изображения здесь


apache-flink flink-streaming flink-cep flink-sql
person YRK    schedule 22.09.2020    source источник
comment
Что вы имеете в виду, говоря, что не работаете? Как вы принимаете это решение? А можете ли вы привести воспроизводимый пример?   -  person David Anderson    schedule 22.09.2020
comment
Пожалуйста, укажите подробности - какая версия Flink, что именно вы имеете в виду, не работает, и как выглядит топология вашего рабочего процесса (CoFlatMapFunction не создает итерацию, поэтому вам не нужно форсировать контрольную точку).   -  person kkrugler    schedule 22.09.2020
comment
@DavidAnderson, спасибо за ответ, что я имею в виду, не работает, я не вижу файлов контрольных точек, которые не создаются в месте расположения контрольных точек, извините, что я не могу предоставить базу кода, но то, что я наблюдал на панели инструментов flink, является одной из коллекции источников задач задача завершена, я прикрепляю изображение панели к вопросу   -  person YRK    schedule 23.09.2020

Ответы (1)


arrow_upward
2
arrow_downward

Я считаю, что причина в FLINK-2491: контрольные точки работают, только если все операторы / задачи все еще выполняются.

Вам следует заменить источник, который вводит некоторые данные из коллекции, каким-либо другим источником, который не просто мгновенно перейдет в состояние завершение, возможно, настраиваемый источник, который поддерживает источник, когда он исчерпывает данные. испускать, но ничего не делать.

person David Anderson    schedule 23.09.2020
comment
Понятно, я добавил исходную функцию, она решила мою проблему - person YRK; 25.09.2020