DP
можно чуть подробней почти двое суток не спал(
ceph daemon /var/run/ceph/osd.17.asok dump_historic_ops_by_duration
Size: a a a
2020 June 16
DP
чтото типа такого
DP
и смотреть какие этапы самые долгие
DP
ну и смотреть iostat на диски нвме - чего с ними происходит.
MP
I'm looking for a proposal for this month's Ceph Tech Talk on June 25th at 17:00 UTC. Please consider sending me yours https://ceph.io/ceph-tech-talks/
AA
ceph daemon /var/run/ceph/osd.17.asok dump_historic_ops_by_duration
Спасибо.Но похоже тут смотреть поздно, ничего криминального.
Стабилизировали ситуацию переездом на локальные ssd в proxmox
А iostat смотрел, %util 99% во время compaction и куча слоу опс в цефе.
Стабилизировали ситуацию переездом на локальные ssd в proxmox
А iostat смотрел, %util 99% во время compaction и куча слоу опс в цефе.
DP
смотрите на задержку, а не на утилизацию
DP
утилизация в случае с нвме - не показатель
RS
I'm looking for a proposal for this month's Ceph Tech Talk on June 25th at 17:00 UTC. Please consider sending me yours https://ceph.io/ceph-tech-talks/
@SinTeZoiD can we pin it for few days?
IF
Спасибо.Но похоже тут смотреть поздно, ничего криминального.
Стабилизировали ситуацию переездом на локальные ssd в proxmox
А iostat смотрел, %util 99% во время compaction и куча слоу опс в цефе.
Стабилизировали ситуацию переездом на локальные ssd в proxmox
А iostat смотрел, %util 99% во время compaction и куча слоу опс в цефе.
памяти достаточно?
IF
compact любит памяти покушать
AA
смотрите на задержку, а не на утилизацию
Device: rrqm/s wrqm/s r/s w/s rkB/s wkB/s avgrq-sz avgqu-sz await r_await w_await svctm %util
nvme2n1 19.00 5632.00 716.00 1493.00 21504.00 6041.50 24.94 213.09 97.63 12.29 138.56 0.45 100.00
nvme2n1 19.00 5632.00 716.00 1493.00 21504.00 6041.50 24.94 213.09 97.63 12.29 138.56 0.45 100.00
DP
памяти достаточно?
о, а в свап там ничего не уехало?
МS
@SinTeZoiD can we pin it for few days?
done
RS
done
подумал шо достойно быть запиненым, у сообщества полюбасу есть чо накинуть)
AA
памяти достаточно?
Достатчно, на ноду 60Гб, а osd_memory_target 2684354560
IF
Device: rrqm/s wrqm/s r/s w/s rkB/s wkB/s avgrq-sz avgqu-sz await r_await w_await svctm %util
nvme2n1 19.00 5632.00 716.00 1493.00 21504.00 6041.50 24.94 213.09 97.63 12.29 138.56 0.45 100.00
nvme2n1 19.00 5632.00 716.00 1493.00 21504.00 6041.50 24.94 213.09 97.63 12.29 138.56 0.45 100.00
эм, nvme не помирает случаем?
MP
Thanks @SinTeZoiD and @l1ght13aby
DP
Device: rrqm/s wrqm/s r/s w/s rkB/s wkB/s avgrq-sz avgqu-sz await r_await w_await svctm %util
nvme2n1 19.00 5632.00 716.00 1493.00 21504.00 6041.50 24.94 213.09 97.63 12.29 138.56 0.45 100.00
nvme2n1 19.00 5632.00 716.00 1493.00 21504.00 6041.50 24.94 213.09 97.63 12.29 138.56 0.45 100.00
я правильно вижу, что у вас 138ms на запись?
DP
и 12ms на чтение?