До helm-чарта kube-prometheus-stack это доехало только этим летом - https://github.com/prometheus-community/helm-charts/pull/1075/files Но вопрос не в этом) Интересна вообще практика использования irate.

Принял) спасибо

не масштабируется, на этом всё )

можно пушить по UDP в victoriametrics по протоколу influx, а потом опрашивать через promql

Всем доброе утро. Запустил прометеус на кубере, чтобы он снимал метрики с него. На кубере в сумме сейчас штук 30 лёгких подов, то есть считай их нет. Так вот. Папка c данными за три дня разрослась на 22 Гб. С чем может быть связана такая прожорливость?

Какая папка?) а какой у тебя ретеншн?

У тебя в поде прометеуса 22гб, верно? Покаж конфиг прометеуса

Папка chunk_head

du -sh *
103M    01FMAYRRJDBSZ9Y11JDXAE7G5J
112M    01FMBCJ01H3H0DCB7QNYMJMHM6
40M     01FMBTCYKZKGGW5BQAR5GTTY51
110M    01FMBTG04S2SACFHHZZWW8FXKD
41M     01FMBTNAN8M9ZQ5D1R881NH6X7
40M     01FMC9K6SYF3A7HHZYVBJYPES7
111M    01FMDGPK9A2JCCX3YKKERQ7166
41M     01FME00PB55PKACG07ZMK2QH8F
40M     01FME00QR98F6DG72S47VE7095
41M     01FMEG0ADDFN7T3ZRP8ESQYSFT
111M    01FMEQZW0KCP3KWJ508S4CWZGM
40M     01FMG973R75KSFH4Z22XTAAA6R
325M    01FMG978CCTVQMC82DKZ0SNT02
40M     01FMGM6AMDVAFY3E7BP1W79V6G
40M     01FMGM6BWAZXKKZ551A6CHTJ3F
40M     01FMGRM2RNVGT4RFB27C4FH2EV
40M     01FMHC0T1TZNR1GFN35CW2FPTS
41M     01FMHNBQFQDVAK7200VHQA3W3V
20G     chunks_head
0       lock
4.0K    queries.active
1.2G    wal

Собственно конфиг:

data:
  prometheus.rules: |-
    groups:
    - name: kube alert
      rules:
      - alert: High Pod Memory
        expr: sum(container_memory_usage_bytes) > 1
        for: 1m
        labels:
          severity: slack
        annotations:
          summary: High Memory Usage
  prometheus.yml: |-
    global:
      scrape_interval: 5s
      evaluation_interval: 5s
    rule_files:
      - /etc/prometheus/prometheus.rules
    alerting:
      alertmanagers:
      - scheme: http
        static_configs:
        - targets:
          - "alertmanager.monitoring.svc:9093"

    scrape_configs:
      - job_name: 'node-exporter'
        kubernetes_sd_configs:
          - role: endpoints
        relabel_configs:
        - source_labels: [__meta_kubernetes_endpoints_name]
          regex: 'node-exporter'
          action: keep

      - job_name: 'k8s-cadvisor'
        scrape_interval: 10s
        scrape_timeout: 10s
        scheme: https  # remove if you want to scrape metrics on insecure port
        tls_config:
          ca_file: /var/run/secrets/kubernetes.io/serviceaccount/ca.crt
        bearer_token_file: /var/run/secrets/kubernetes.io/serviceaccount/token
        metrics_path: /metrics/cadvisor
        kubernetes_sd_configs:
        - role: node
        relabel_configs:
          - action: labelmap
            regex: __meta_kubernetes_node_label_(.+)
          # Only for Kubernetes ^1.7.3.
          # See: https://github.com/prometheus/prometheus/issues/2916
          - target_label: __address__
            replacement: kubernetes.default.svc:443
          - source_labels: [__meta_kubernetes_node_name]
            regex: (.+)
            target_label: __metrics_path__
            replacement: /api/v1/nodes/${1}/proxy/metrics/cadvisor
        metric_relabel_configs:
        - source_labels: [instance]
          separator: ;
          regex: (.+)
          target_label: node
          replacement: $1
          action: replace

        - source_labels: [pod_name]
          separator: ;
          regex: (.+)
          target_label: pod
          replacement: $1
          action: replace
        - source_labels: [container_name]
          separator: ;
          regex: (.+)
          target_label: container
          replacement: $1
          action: replace

      - job_name: kube-state-metrics
        kubernetes_sd_configs:
        - role: endpoints
          namespaces:
            names:
            - ops-monit
        relabel_configs:
        - source_labels: [__meta_kubernetes_service_label_app_kubernetes_io_name]
          regex: kube-state-metrics
          replacement: $1
          action: keep
        - action: labelmap
          regex: __meta_kubernetes_service_label_(.+)
        - source_labels: [__meta_kubernetes_namespace]
          action: replace
          target_label: k8s_namespace
        - source_labels: [__meta_kubernetes_service_name]
          action: replace
          target_label: k8s_sname

Не в поде, а на диске, который привязал к деплойменту

Понял, смотри в сторону ретеншна, дефолт 14 дней

Чем деплоил? Хелм?

Нам минимум месяц нужен. Пока не менял дефолт. Надо сначала понять, откуда такая прожорливость

Деплоил вручную, без хельма

Вот все метрики

Так что норм)

Понимаю, логи и метрики разные сущности, но в эластике за три дня со всего кубера  
153.1mb

Все верно

Ну там же только логи из под