Ganglia - масштабируемость RRD (циклическая база данных)

Недавно я столкнулся с RRD, опробовав систему мониторинга ганглиев. Ganglia хранит данные мониторинга в RRD. Мне просто интересно, с точки зрения масштабируемости, как работает RRD? Что делать, если у меня есть потенциально огромное количество данных для хранения. Как и в случае с ганглиями, если я хочу хранить всю историческую статистику мониторинга, а не просто хранить данные за последнее время с определенным TTL, будет ли RRD достаточно хорош, чтобы справиться с этим?

Может ли кто-нибудь, кто использовал RRD, поделиться опытом о том, как масштабируется RRD и как он сравнивается с СУБД или даже с большой таблицей?


person Shengjie    schedule 08.01.2013    source источник


Ответы (2)


RRD предназначен для автоматического размытия (усреднения) ваших данных с течением времени, так что общий размер базы данных остается примерно одинаковым, даже если новые данные постоянно поступают.

Таким образом, это хорошо, только если вам нужны исторические данные и вы готовы потерять точность с течением времени.

Другими словами, вы не можете сравнивать RRD со стандартными базами данных SQL или с Bigtable, потому что все стандартные базы данных SQL и NoSQL точно хранят данные — вы будете читать именно то, что было написано.

Однако с RRDtool такой гарантии нет. Но его скорость делает его привлекательным решением для всех видов решений для мониторинга, где важны только самые последние данные.

person mvp    schedule 08.01.2013

Встроенная функция консолидации rrdtool настраивается, поэтому в зависимости от вашего дискового пространства нет ограничений на объем высокоточных данных, которые вы можете хранить с помощью rrdtool. Кроме того, благодаря своему дизайну базы данных rrdtool никогда не придется очищать или обслуживать каким-либо иным образом, так что вы можете увеличить установку до ошеломляющих размеров. Очевидно, что вам нужно достаточно памяти и быстрых дисков, чтобы rrdtool мог работать с большими данными, но это то же самое с любым шагом больших данных.

Некоторые люди путаются в возможностях rrdtools из-за того, что вы также можете запустить его на крошечной встроенной системе, и когда эти люди начинают регистрировать гигабайты данных на старом компьютере с чердака и обнаруживают, что он не справляется, они удивляются. ...

person Tobi Oetiker    schedule 09.01.2013