IB
а там между версиями никаких миграций стораджа не происходило? после даунгрейда с 1.15.0 до 1.14.2 и рестарта инстанса видим, что метрики потерялись
Size: a a a
2019 April 26
IB
при этом раним 2 инстанса и promxy как-то странно агрегирует с двух теперь, что в ауткаме метрик нет, хотя на одном из инстансов они точно есть и отдаются. если подробности раскопаю, расскажу
IB
хм, скорее всего, не миграция, а пересоздание инстанса...кейс такой - мы раним VictoriaMetrics на EC2 и отдельно маунтим EBS, дабы если что-то случится с инстансом, его можно пересоздать и подцепить тот же сторадж с новому
IB
вот мы сейчас такое провернули и потеряли метрики почему-то. у виктории нету каких-то хитрых механизмов "привязывания" стораджа по каким-то айдишникам и дропа "чужого" стораджа? @valyala
AV
вот мы сейчас такое провернули и потеряли метрики почему-то. у виктории нету каких-то хитрых механизмов "привязывания" стораджа по каким-то айдишникам и дропа "чужого" стораджа? @valyala
Данные в стореджах никак не привязываются к компам. При рестарте могут потеряться только последние несколько секунд метрик, которые не успели записаться на диск. Старые метрики не должны теряться.
AV
да и то последние несколько секунд теряются, если не сделать graceful shutdown, т.е. вместо отправки сигнала SIGINT отправить SIGKILL или просто резетнуть комп, где работала victoriametrics
AV
а там между версиями никаких миграций стораджа не происходило? после даунгрейда с 1.15.0 до 1.14.2 и рестарта инстанса видим, что метрики потерялись
нет, формат стореджа не менялся с декабря 2018 года. А что за данные потерялись и за какой промежуток времени?
IB
тогда все детально в ишшую оформлю
AV
тогда все детально в ишшую оформлю
👍
IB
@valyala что туда добавить?)
AV
последовательность действий, приведшая к ошибке, сообщения из логов, отличные от INFO, какие метрики потерялись и интервал, на котором они потерялись. Будет здорово, если удастся воспроизвести эту проблему.
IB
blocksCount{type="indexdb"} 53019
blocksCount{type="storage/big"} 2603958
blocksCount{type="storage/small"} 1411734
vs
blocksCount{type="indexdb"} 6888
blocksCount{type="storage/big"} 0
blocksCount{type="storage/small"} 864231
blocksCount{type="storage/big"} 2603958
blocksCount{type="storage/small"} 1411734
vs
blocksCount{type="indexdb"} 6888
blocksCount{type="storage/big"} 0
blocksCount{type="storage/small"} 864231
AV
может, у потерявшихся метрик было что-то общее. Про это тоже стоит написать
IB
логи, мы к сожалению, собирать с них еще не начали
IB
т.е потерялись все метрики, насколько я понял
IB
там примерно одинаковые цифры были
AV
blocksCount{type="indexdb"} 53019
blocksCount{type="storage/big"} 2603958
blocksCount{type="storage/small"} 1411734
vs
blocksCount{type="indexdb"} 6888
blocksCount{type="storage/big"} 0
blocksCount{type="storage/small"} 864231
blocksCount{type="storage/big"} 2603958
blocksCount{type="storage/small"} 1411734
vs
blocksCount{type="indexdb"} 6888
blocksCount{type="storage/big"} 0
blocksCount{type="storage/small"} 864231
второе - это после потери метрик? Да, выглядит, как будто потерялись все метрики. А за какой промежуток времени они потерялись?
AY
~24h
IB
да, мы на прод как раз около суток назад и выкатили
AV
может, вы неправильно примонтировали диск и victoriametrics начала записывать их на локальный диск вместо примонтированного диска? Или наоборот, раньше они записывались на локальный диск, а после перезагрузки компа стали записываться на примонтированный диск.