Ну то есть даже не "оно само", а "я топчу F5"?

эм, там же есть кнопка с рефрешем, но это не касается темы вопроса)

Касается. Ты не убедился, что это НЕ графана тупит.

Если бы ты curlом дёргал loki - это был бы более справедливый тест.

графана не тупит, есть же в девтулзах нетворк и там видно что за запрос шлется

Не, ну если ты точно всё проверил, то ок, у меня никаких идей.

А во что упирается? htop хотя бы глянуть, если метрик нет

да никуда не упирается
Mem: 4827680K used, 125208K free, 236736K shrd, 749008K buff, 2686200K cached
CPU:   0% usr   0% sys   0% nic 100% idle   0% io   0% irq   0% sirq
Load average: 0.06 0.36 0.27 1/1018 63
 PID  PPID USER     STAT   VSZ %VSZ CPU %CPU COMMAND
   1     0 root     S     290m   6%   1   0% /usr/bin/loki -config.file=/srv/loki/local.yml
  44     0 root     S     1596   0%   1   0% sh
  63    44 root     R     1528   0%   0   0% top
Linux 4.14.116-boot2docker (47e78807ae61)       10/26/20        _x86_64_        (2 CPU)

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
          1.58    0.00    0.54    0.02    0.00   97.86

Device:            tps   Blk_read/s   Blk_wrtn/s   Blk_read   Blk_wrtn
zram0             0.09         0.14         0.58      12264      49584
sr0               0.00         0.00         0.00        176          0
sda               7.13        77.11       615.35    6645037   53029576

/ #

ладно, протрезвею еще раз посмотрю

я бы поочередно выбрасывал куски из цепочки, и так то голые логи отправил бы в локи, без рюшичек по дороге

Посмотрите на количество свободных Socket и File Handlers.

Могло получиться так, что инструмент на rust не переиспользует TCP подключение и создаёт их снова каждый раз и закрывает потом. Так копится много TCP_TIME_WAIT-сокетов. Их покажет netstat. А потом инструмент на rust ждёт пока они появятся, прежде чем отправить данные в локальный loki.

Тогда быстрым фиксом будет повторное использование соединений на уровне ОС

В debian linux
sudo sysctl -w net.ipv4.tcp_tw_recycle=1

sudo sysctl -p

В red hat linux, centos
sudo sysctl -w net.ipv4.tcp_tw_reuse=0

sudo sysctl -p

Побочный эффект
Может перестать работать NAT. (не подтверждено). Не критично для localhost

скорее так

Привет. У меня graylog в docker, стояла старая версия, написал docker-compose файл поднял до последней, все было хорошо логи писались, закончилось место, elasticsearch перевел индексы в режим чтения, логи перестали писаться, сейчас освободил место, в elasticserach через запрос в api перевел все индексы в режим записи командой curl -X PUT “localhost:9200/_all/_settings” -H ‘Content-Type: application/json’ -d ‘{“index.blocks.read_only_allow_delete”: null}’, но логи не пишутся по прежнему, по инпутам вижу что сообщения поступают.

Вот такая беда, ковырялся пол, решения не нашёл, в какую сторону вести расследование?

Спасибо, буду иметь ввиду

Спасибо

Странно, но утром появились новые логи, само собой решилось