Описание У нас есть приложение Spark Streaming 1.5.2 на Scala, которое считывает события JSON из потока Kinesis, выполняет некоторые преобразования / агрегаты и записывает результаты в разные префиксы S3. Текущий пакетный интервал составляет 60...

Что контрольные точки делают для Apache Spark и требуют ли они каких-либо обращений к ОЗУ или ЦП?

В Spark 2.2.0 контрольные точки работают немного иначе, чем в версиях. Существует папка коммитов, которая создается, и после завершения каждого пакета файл записывается в папку. Я сталкиваюсь со сценарием, в котором у меня около 10 тыс....

Я использую FLink v.1.4.0 . Я использую QueryableStateStream , который я каким-то образом набираю, а затем sink для создания Queryable State , например: stream.keyBy(0).asQueryableState("query-name"); Это все хорошо, пока работает моя...

В моем сценарии у меня будут пакеты событий, поступающих одновременно, а затем длительные периоды времени, когда EventHub будет простаивать. В моем процессорном клиенте я хочу проверять каждые N событий или N минут (в зависимости от того, что...