Как получить размер (метаданные) сообщения без запроса на выборку в Kafka через SimpleConsumer?

Я использую SimpleConsumer и пытаюсь получить размер сообщения (в байтах), используя искру.

Я могу получить самое раннее и самое последнее смещение, используя запрос метаданных, но не знаю, как получить количество байтов в kafka (0.8.0).

Я действительно не хочу использовать запрос на выборку, потому что хочу проверить достаточно данных, а затем запустит задание искры (не потоковое) для выполнения действия.


person Hutashan Chandrakar    schedule 16.07.2015    source источник
comment
Я получил ответ на этот вопрос. Есть Api и spark conf, из которых можно что-то посчитать.   -  person Hutashan Chandrakar    schedule 08.07.2016


Ответы (1)


Из ответа метаданных невозможно получить размер, для получения размера необходимо загрузить сообщение, что бессмысленно.

person Hutashan Chandrakar    schedule 07.07.2016