В Hadoop, как обрабатывать ежедневно увеличивающиеся данные

Это не поддерживается самим Hadoop, поскольку является частью логики приложения. Я бы предложил какое-то решение на основе HDFS, поэтому у вас будет каталог (или лучшая иерархия каталогов с подкаталогом на каждый день) с данными, которые еще предстоит обработать.
Ваша ежедневная работа должна брать туда все данные, обрабатывать их и перемещать в папку «обработанные».
Обычный компромисс, который имеет смысл, состоит в том, чтобы сделать логику таким образом, чтобы случайная двойная обработка некоторого файла не вызывала проблем.
. В этом случае сбой задания после обработки, но перед перемещением не создаст проблем.
Вместо ежедневного планирования вы можете использовать некоторые инструменты рабочего процесса, способные запускать задания по доступности данных, хотя я лично этого не делал. т использовать их еще.