Я хочу проанализировать потребление пропускной способности Hadoop 1.0.3 в моем кластере.
Какие инструменты я могу использовать только для анализа потребления полосы пропускания между его узлами, используемыми всеми процессами, связанными со всеми компонентами Hadoop: hdfs, jobtrackers, tasktrackers, datanode, namenode, heartbeats, передача данных...
>Также хотелось бы связать потребление пропускной способности с процессом.
Основная проблема заключается в том, что его процессы не используют фиксированные порты. Если возможно, будет ли целесообразно использовать определенный диапазон портов или интерфейс/субинтерфейс?
Инструменты для анализа потребления пропускной способности сети Hadoop
Ответы (1)
Существует целый ряд метрик, предоставляемых мониторингом Ganglia, когда он активирован в вашем кластере (хотя я не уверен, обеспечивает ли он потребление полосы пропускания).
Информация об этом есть здесь и здесь и хорошая демонстрационная страница здесь.
person
davek
schedule
27.06.2013
Кажется отличным вариантом: зрелый, стабильный и хорошо задокументированный. Собираюсь прочитать об этом и проанализировать, соответствует ли это моим требованиям. Спасибо, давек.
- person tremendows; 28.06.2013
