Прометей: оповещение об изменении стоимости

У меня была аналогичная проблема с planetlabs / draino:
Я хотел иметь возможность определять, когда он истощает узел.
(К сожалению, они переносят свою минималистичную политику ведения журнала, которая имеет смысл для ведения журнала, на показатели, где это не имеет смысла ...)
Веб-страница конечной точки draino_pod_ip: 10002 / metrics полностью пуста .. .. не существует, пока не произойдет первая утечка ...
Мои потребности было немного сложнее обнаружить, мне пришлось иметь дело с метрикой, которая не существует, когда значение = 0 (также как при перезагрузке модуля).
Мне пришлось обнаружить переход от не существует -> 1, а от n -> n + 1.
Это то, что я придумал, обратите внимание, что метрика, которую я обнаружил, является целым числом, я не уверен, как это будет стоить с десятичными знаками, даже если это нужно настроить для ваших нужд, я думаю, это может помочь вам в правильное направление:

(absent(draino_cordoned_nodes_total offset 1m) == 1 and count(draino_cordoned_nodes_total) > -1)

^ создает сообщение 1, когда метрика переключается с "не существует" на "существует"

((draino_cordoned_nodes_total - draino_cordoned_nodes_total offset 1m) > 0)

^ создает мигание 1, когда оно увеличивается от n -> n + 1

Комбинируя 2:

(absent(draino_cordoned_nodes_total offset 1m) == 1 and count(draino_cordoned_nodes_total) > -1) or ((draino_cordoned_nodes_total - draino_cordoned_nodes_total offset 1m) > 0)

^ или объединение их обоих вместе позволило мне обнаружить изменения в виде единого всплеска 1 на графике графана, я думаю, это то, что вам нужно.

У @neokyle есть отличное решение в зависимости от используемых вами метрик.

В моем случае мне нужно было решить аналогичную проблему. Проблема заключалась в том, что у меня также есть ярлыки, которые нужно включить в предупреждение. И было невозможно использовать отсутствие, так как это означало бы создание предупреждения для каждой метки. (Я использую Jsonnet, так что это возможно, но все же довольно раздражает!)

Ключевым моментом в моем случае было использование unless, который является оператором дополнения. Я написал примерно так:

(my_metric unless my_metric offset 15m) > 0

В результате будет получен ряд после перехода метрики от отсутствующего к отсутствующему с сохранением всех меток. Серия будет длиться до тех пор, пока есть смещение, так что это создаст пятнадцатиметровую отметку. Это не супер-интуитивно понятно, но я понимаю, что это правда, когда сами серии разные. Так что это не сработает, например, при изменении значения.

Вы можете перейти к добавлению or для (увеличение / дельта) ›0 в зависимости от того, с чем вы работаете. Это немного беспорядочно, но приведу пример:

(
  my_metric
  unless my_metric offset 15m
) > 0
or
(
  delta(
    my_metric[15m]
  )
) > 0