счаз гляну 5.fe

"state": "activating",
   "snap_trimq": "[]",
   "snap_trimq_len": 0,
   "epoch": 57247,
   "up": [
       9,
       4,
       2
   ],
   "acting": [
       9,
       4,
       2
   ],
   "acting_recovery_backfill": [
       "2",
       "4",
       "9"
   ],

ничего не блокирует

"up": [
               9,
               4,
               2
           ],
           "acting": [
               9,
               4,
               2
           ],
           "blocked_by": [],
           "up_primary": 9,
           "acting_primary": 9,
           "purged_snaps": []

ну рестартни osd9 и посмотри чо будет

5.fe переключилось в peering

в логе осд9 что-нибудь есть интересное?

и полный вывод потом на pastebin куда-нить

query

я подозреваю, что просто на самом деле кто-то ещё из осд висит в пространстве

и всех об себя блокирует

полно строчек типа 2020-03-23 22:02:43.233 7fe83b4cf700  0 -- 10.0.5.4:6810/715374 >> 10.0.5.1:6800/2760 conn(0x55df142e4a00 :6810 s=STATE_OPEN pgs=12719011 cs=13863 l=0).fault initiating reconnect

есть такая беда   15 stuck requests are blocked > 4096 sec. Implicated osds 16

ну перезапусти 16-й)) фигли... но что такое fault initiating reconnect не понятно

перестартовал

теперь вот так

cluster:
   id:     207605f5-38e4-4866-8c32-339ab227a0d1
   health: HEALTH_WARN
           1 MDSs report slow metadata IOs
           123169/1876554 objects misplaced (6.564%)
           Reduced data availability: 622 pgs inactive, 387 pgs peering
           Degraded data redundancy: 20447/1876554 objects degraded (1.090%), 11 pgs degraded, 11 pgs undersized

 services:
   mon: 3 daemons, quorum c5,c1,c3
   mgr: c3(active), standbys: c5, c4, c2, c1, c6
   mds: onefs-1/1/1 up  {0=c4=up:active}, 3 up:standby
   osd: 25 osds: 22 up, 21 in; 198 remapped pgs

 data:
   pools:   5 pools, 1024 pgs
   objects: 625.5 k objects, 1.7 TiB
   usage:   5.9 TiB used, 29 TiB / 35 TiB avail
   pgs:     63.867% pgs not active
            20447/1876554 objects degraded (1.090%)
            123169/1876554 objects misplaced (6.564%)
            342 active+clean
            295 peering
            187 activating
            113 remapped+peering
            52  activating+remapped
            20  active+remapped+backfill_wait
            7   activating+undersized+degraded+remapped
            3   active+undersized+degraded+remapped+backfill_wait
            2   active+undersized+remapped+backfill_wait
            1   active+clean+remapped
            1   active+remapped+backfilling
            1   active+undersized+degraded+remapped+backfilling

 io:
   client:   23 GiB/s rd, 48 GiB/s wr, 2.86 Mop/s rd, 3.48 Mop/s wr
   recovery: 11 GiB/s, 421 keys/s, 3.51 kobjects/s

меняется ситуация или висит опять?

с сетью нормально всё?

а то чего они соединиться-то не могут