Size: a a a

Церковь метрик

2021 April 14

RK

Roman Khavronenko in Церковь метрик
вы точно выполняете `100 * ( sum( nginx_ingress_controller_requests{status=~"4.+"} ) / sum(nginx_ingress_controller_requests) ) > 5`? Если да, то у вас не будет имени метрики в ответе из-за sum агрегации
источник

RK

Roman Khavronenko in Церковь метрик
источник

RK

Roman Khavronenko in Церковь метрик
Попробуйте поменять ваше выражение на

100 * ( sum( nginx_ingress_controller_requests{status=~"4.+"} ) by(cluster) / sum(nginx_ingress_controller_requests) by(cluster)) > 5
источник

НЕ

Николай Емашев... in Церковь метрик
Спасибо, почему-то думал, что лейблы берутся из самой метрики, а не выражения. Попробую, но там порядка сотни правил. Есть какой-нибудь способ вывести этот label в аннотацию, в обход exp ?
источник

RK

Roman Khavronenko in Церковь метрик
лейблы всегда берутся из выражения. Иначе, непонятно какими будут лейблы если много серий с разными значениями.
Вы можете указать статические лейблы которые будут применятся ко всем правилам

 -external.label array
       Optional label in the form 'name=value' to add to all generated recording rules and alerts. Pass multiple -label flags in order to add multiple label sets.
источник

НЕ

Николай Емашев... in Церковь метрик
ок, спасибо большое, теперь понял. Буду переделывать выражения.
источник
2021 April 15

DT

Dmitry Tigrov in Церковь метрик
Коллеги а кто в курсе прометеус на статус страничке показывает всякие Highest Cardinality Metric Names итп, он откуда эту статистику берет, напрямую из тсдб или делает запросы аля topk по нейму
источник

AS

Aleksey Shirokikh in Церковь метрик
напрямую
источник

AS

Aleksey Shirokikh in Церковь метрик
можно тоже самое сделать через promtool tsdb analyze
источник

DT

Dmitry Tigrov in Церковь метрик
просто у меня реально разъезжаются показания, одну метрику показывает что у нее кардинальность 195к а делаю каунт на нее показывает 33к
источник

DT

Dmitry Tigrov in Церковь метрик
или он считает вобще за весь период
источник

AS

Aleksey Shirokikh in Церковь метрик
он это делает за некоторое время.
источник

AS

Aleksey Shirokikh in Церковь метрик
типа count_over_time
источник

DT

Dmitry Tigrov in Церковь метрик
блин устал я уже с этими кардиналити бороться, все что остается чистить валы и рестарт иначе неведомая магия выжирает всю память и кто виновник не понять, т.е. по таблице статуса понятно что есть высококардинальные метрики но откуда они приехали непонятно т.к. каунт выдает приземленные значения, а всякие квери рендж на каунты просто по таймауту умирают
источник

DT

Dmitry Tigrov in Церковь метрик
причем если почистить вал файлы то в статусе эти метрики высококардинальные пропадут
источник

DT

Dmitry Tigrov in Церковь метрик
т.е. получается что в эту статистику данные из хед чанка попадают который накачивается из валов
источник

AS

Aleksey Shirokikh in Церковь метрик
дак ты не смотри на самом проме .смотри на виктории. в нее то уже данные попали
источник

DT

Dmitry Tigrov in Церковь метрик
в виктории никакой магии и никакой кардинальности, как будто это гдето внутри прома все остается дальше не летит либо высокий черн рейт
источник

DT

Dmitry Tigrov in Церковь метрик
черн рейт на дашборде виктории в районе 130, хз плохо или мало я еще не особо вкуривал математику с этим связанную
источник

DT

Dmitry Tigrov in Церковь метрик
если самая высококардинальная метрика container_tasks_state то можно предположить что пошла высокая ротация контейнеров
источник