Телеграмм чат группы metrics

Size: a a a

Церковь метрик

1962 membersпожаловаться на группу

2019 October 24

Это понятно, там что-то вроде такого

- expr: |
        sum by (namespace, pod, container) (
          rate(container_cpu_usage_seconds_total{job="kubelet", image!="", container!="POD"}[5m])
        )
      record: namespace_pod_container:container_cpu_usage_seconds_total:sum_rate

Но как найти-то откуда ноги растут или нет такой задукоментированной возможности?

# The labels to add to any time series or alerts when communicating with
  # external systems (federation, remote storage, Alertmanager).
  external_labels:
    [ <labelname>: <labelvalue> ... ]

Это же только для коммуникации с внешними системами…
У меня есть 2 лейбла, но в сових конфигах я их не вижу….

global:
  scrape_interval: 30s
  scrape_timeout: 10s
  evaluation_interval: 30s
  external_labels:
    prometheus: cloud/prometheus-operator-cloud-prometheus
    prometheus_replica: prometheus-prometheus-operator-cloud-prometheus-0

источник

15:50пожаловаться

Andor in Церковь метрик

а зачем ещё может понадобиться глобальный лейбл, если не для коммуникаций с внешними системами?

а зачем ещё может понадобиться глобальный лейбл, если не для коммуникаций с внешними системами?

Ну меня такой потребности не было изначально, зачем нужно - я об этом не размышлял…

Задача была добавить кастомный лейбл ко всем метрикам, в частности мне нужен лейбл instance на всех метриках (где он может быть доступен) и некоторые лейблы к конкретным компонентам (тут я понял поможет service monitor).

источник

15:54пожаловаться

Andor in Церковь метрик

instance и так по-умолчанию есть на всех таргетах

источник

15:54пожаловаться

Andor in Церковь метрик

а значит и на всех метриках

instance и так по-умолчанию есть на всех таргетах

тут его нет
namespace_pod_container:container_cpu_usage_seconds_total:sum_rate

источник

15:55пожаловаться

Andor in Церковь метрик

потому что оно из аггрегации выкидывается?

источник

15:56пожаловаться

Andor in Церковь метрик

это же сумма по неймспейсу?

потому что оно из аггрегации выкидывается?

Ясн, значит надо свое правило написать …

источник

15:56пожаловаться

Andor in Церковь метрик

это же аггрегация по неймспейсу

источник

15:56пожаловаться

KK in Церковь метрик

Это понятно, там что-то вроде такого

- expr: |
        sum by (namespace, pod, container) (
          rate(container_cpu_usage_seconds_total{job="kubelet", image!="", container!="POD"}[5m])
        )
      record: namespace_pod_container:container_cpu_usage_seconds_total:sum_rate

Но как найти-то откуда ноги растут или нет такой задукоментированной возможности?

вот оно

источник

15:56пожаловаться

Andor in Церковь метрик

какой там может быть instance?

ясн, понял. Спс

просто
добавь
лейбл
в
сервисмонитор

Прошу прощения за настырность, но не могу поймать поймать добавленный лейбл

apiVersion: monitoring.coreos.com/v1
kind: ServiceMonitor
metadata:
  name: my-cloud-monitoring
  namespace: cloud
  labels:
    prometheus: kube-prometheus
    custom_label_pod: foobared
    team_service: frontend
spec:
  selector:
    matchLabels:
      app: my-cloud-monitoring
  namespaceSelector:
    matchNames:
    - cloud
  endpoints:
  - port: monitoring
    path: /metrics
    interval: 10s
  podTargetLabels:
    - custom_label_pod
  targetLabels:
    - team_service

Задпелоил этот конфиг, проверил, что он применился, но в Service Discovery панели prometheus не вижу этих лейблов

источник

18:14пожаловаться

George Gaál in Церковь метрик

Прошу прощения за настырность, но не могу поймать поймать добавленный лейбл

apiVersion: monitoring.coreos.com/v1
kind: ServiceMonitor
metadata:
  name: my-cloud-monitoring
  namespace: cloud
  labels:
    prometheus: kube-prometheus
    custom_label_pod: foobared
    team_service: frontend
spec:
  selector:
    matchLabels:
      app: my-cloud-monitoring
  namespaceSelector:
    matchNames:
    - cloud
  endpoints:
  - port: monitoring
    path: /metrics
    interval: 10s
  podTargetLabels:
    - custom_label_pod
  targetLabels:
    - team_service

Задпелоил этот конфиг, проверил, что он применился, но в Service Discovery панели prometheus не вижу этих лейблов

А у тебя прометеус как задеплоен ? Раз

источник

18:17пожаловаться

Andor in Церковь метрик

Прошу прощения за настырность, но не могу поймать поймать добавленный лейбл

apiVersion: monitoring.coreos.com/v1
kind: ServiceMonitor
metadata:
  name: my-cloud-monitoring
  namespace: cloud
  labels:
    prometheus: kube-prometheus
    custom_label_pod: foobared
    team_service: frontend
spec:
  selector:
    matchLabels:
      app: my-cloud-monitoring
  namespaceSelector:
    matchNames:
    - cloud
  endpoints:
  - port: monitoring
    path: /metrics
    interval: 10s
  podTargetLabels:
    - custom_label_pod
  targetLabels:
    - team_service