Я не эксперт в "больших данных" :)
Мой сценарий — это пара экземпляров EC2, чем создание журналов.
Эти журналы в основном представляют собой системный журнал и события приложений (пользовательские журналы).
Я хотел бы использовать стек ELK для сбора журналов, применения фильтров и отображения данных.
В некоторых случаях я хотел бы отправлять свои пользовательские события в выделенную систему очередей ( rabbitMQ ) для обработки данных (механизм рекомендаций).
Мой вопрос в том, почему я должен использовать такие инструменты, как Kafka и Hadoop, если в основном я хочу просто анализировать журналы с 24-часовым хранением и перемещать их с помощью функции ротации журналов из Debian?
Большое спасибо за твою помощь! и извините за мой плохой английский ^^
