rasdaemon

У меня mcelog вообще не завелся, когда пробовал

Было и не раз, супермикро же😄

gino Reyansh: user has been CAS banned

Коллеги доброе утро, а подскажите можно с цефа как-то получить скорости внутренних процессов - меня в первую очередь интересует реальная скорость snaptrim

Такой информации нет.

Есть более подробная стата через osd asock, но snatrim точно нет

Всем привет, подскажите пожалуйста.

Имеем 8 osd по 4 на хост, заменили 4 шт, видим следующее.

 data:
   pools:   3 pools, 1152 pgs
   objects: 389.4 k objects, 59 GiB
   usage:   91 GiB used, 1.7 TiB / 1.7 TiB avail
   pgs:     301131/778818 objects degraded (38.665%)
            110705/778818 objects misplaced (14.214%)
            521 active+undersized+degraded+remapped+backfill_wait
            371 active+undersized+remapped+backfill_wait
            158 active+clean
            101 active+remapped+backfill_wait
            1   active+undersized+degraded+remapped+backfilling

Но если монтировать что-то, то отваливается по timeout со следующей ошибкой:

mount error 5 = Input/output error

реплика 2 стоит, значит каждый хост со своими 4-мя osd может спокойно выходить из строя. проблема началась сразу после добавления в кластер новых osd

Нееет, СЕЙЧАС у вас полная жопа - и выход любой одной OSD это  с вероятностью 50% писец и катастрофа, поскольку у вас undersized 892 PG из 1152

Можете пояснить пожалуйста? Речь идет о том, что выход из строя уже имеющихся? Но не в случае когда мы удалили 4 шт и добавили новые. Верно?

То что выводить из строя хотя бы один osd нельзя, это понятно. Вопрос почему возникает ошибка монтирования.

А что вы вообще монтируете? CephFS? ФС с RBD? OSD? S3FS (упаси господи!!!)? Что-то еще?

cephfs

Монтирование как с куба не идет, так и с хоста обычной командой. Отваливается с ошибкой выше.

Полный вывод ceph -s

Полный вывод ceph fs list

Проверьте состояние mds

С вероятностью процентов 70 у вас MDS лёг

ceph -s
 cluster:
   id:     37f21920-ffaa-4859-8832-418b0b4734a1
   health: HEALTH_WARN
           104651/778818 objects misplaced (13.437%)
           Degraded data redundancy: 297513/778818 objects degraded (38.201%), 512 pgs degraded, 883 pgs undersized

 services:
   mon: 3 daemons, quorum SERVER-s3,SERVER-s2,SERVER-s1
   mgr: SERVER-s2(active), standbys: SERVER-s1, SERVER-s3
   mds: SERVER-fs-1/1/1 up  {0=SERVER-s1=up:active}, 2 up:standby
   osd: 8 osds: 8 up, 8 in; 984 remapped pgs

 data:
   pools:   3 pools, 1152 pgs
   objects: 389.4 k objects, 59 GiB
   usage:   91 GiB used, 1.7 TiB / 1.7 TiB avail
   pgs:     297513/778818 objects degraded (38.201%)
            104651/778818 objects misplaced (13.437%)
            511 active+undersized+degraded+remapped+backfill_wait
            371 active+undersized+remapped+backfill_wait
            168 active+clean
            101 active+remapped+backfill_wait
            1   active+undersized+degraded+remapped+backfilling