Телеграмм чат группы ceph

всем хай. Кто-то сталкивался с таким поведением?
ceph говрит 1 pg inconsistent
смотрим

rados list-inconsistent-pg rbd
["2.3ff"]

таки есть, смотрим какие объекты

rados list-inconsistent-obj 2.3ff
{"epoch":389,"inconsistents":[]}

но списка объектов нет.
скрабинг падает

14:29пожаловаться #1

По сэтапу.
wal db - вынесены на отдбельные ссд
дата на блинах + bcache

14:44пожаловаться #2

по нагрузке - была наливка рандомных данных. даже 10% рав места не заняло

14:45пожаловаться #3

в данном случаи repair помог

Alexander mamahtehok in Ceph — русскоговорящее сообщество

14:46пожаловаться #4

а podman ps -a на ноде?

14:46пожаловаться #5

но я уже такое ловил

Alexander mamahtehok in Ceph — русскоговорящее сообщество

14:46пожаловаться #6

что значит скраб падает?

14:46пожаловаться #7

он спотыкался ою этот pg и появляется 1 pg inconsistent. При этом раз на раз repair не всегда фиксит данную фпроблему

14:47пожаловаться #8

больше смущает, что пустой список объектов

14:47пожаловаться #9

А сам osd не падает при этом?

14:48пожаловаться #10

смотрел логи osd к которым относится сбойный pg - там ничего криминального

14:48пожаловаться #11

нет

Alexander mamahtehok in Ceph — русскоговорящее сообщество

14:48пожаловаться #12

пустой список объектов значит что нет информации т.е. скрбинг еще не прошел, такое бывает когда у тебя к примеру скрбинг напоролся на проблему а пг потом взяла и перехала на другую осд

14:48пожаловаться #13

"/usr/bin/ceph-osd -…"   47 hours ago   Up 47 hours             ceph-5570632e-2ffe-11ec-b332-cf3112d44510-osd-23

14:49пожаловаться #14

ceph health detail | grep inconsistent
Тоже пусто?

14:49пожаловаться #15

вот 47 часов как запустился так и работает

14:49пожаловаться #16

не, в хелз детейл как раз есь информация об этом pg

14:49пожаловаться #17

О, отлично. Останавливай osd и ceph-objectstore-tool --data-path /var/lib/ceph/osd/ceph-42 --op repair --pgid 5.43

14:50пожаловаться #18

я выше писал, что в данном случаи ceph osd repair помог, но бывает когда он валится и говорит, что не может разрулить

14:51пожаловаться #19

Тогда удалить эту pg и пусть с других забекфилится.