"state": "active+clean+inconsistent",
   "snap_trimq": "[]",
   "snap_trimq_len": 0,
   "epoch": 453962,
   "up": [
       24,
       36
   ],
   "acting": [
       24,
       36
   ],
   "actingbackfill": [
       "24",
       "36"
   ],
   "info": {
       "pgid": "37.55",
       "last_update": "453962'6873773",
       "last_complete": "453962'6873773",
       "log_tail": "453921'6872224",
       "last_user_version": 6873753,
       "last_backfill": "MAX",
       "last_backfill_bitwise": 1,
       "purged_snaps": [
           {
               "start": "1",
               "length": "3819"
           },
           {
               "start": "3820",
               "length": "7571"
           },
           {
               "start": "ad92",
               "length": "38d"
           },
           {
               "start": "b120",
               "length": "399"
           },
           {
               "start": "b4ba",
               "length": "354"
           },
           {
               "start": "b80f",
               "length": "35c"
           },
           {
               "start": "bb6c",
               "length": "36b"
           },
           {
               "start": "bed8",
               "length": "3af"
           },
           {
               "start": "c288",
               "length": "39c"
           },
           {
               "start": "c625",
               "length": "3be"
           },
           {
               "start": "c9e4",
               "length": "393"
           },
           {
               "start": "cd78",
               "length": "1713"
           },
           {
               "start": "e48c",
               "length": "c4f4"
           },
           {
               "start": "1a981",
               "length": "a9"
           },
           {
               "start": "1aa2b",
               "length": "b9"
           },
           {
               "start": "1aae5",
               "length": "b4"
           },
           {
               "start": "1ab9a",
               "length": "ad"
           },
           {
               "start": "1ac48",
               "length": "b1"
           },
           {
               "start": "1acfa",
               "length": "a9"
           },
           {
               "start": "1ada4",
               "length": "9d"
           },
           {
               "start": "1ae42",
               "length": "a4"
           },
           {
               "start": "1aee7",
               "length": "ca"
           },
           {
               "start": "1afb2",
               "length": "d3"
           },
           {
               "start": "1b086",
               "length": "bf"
           },
           {
               "start": "1b146",
               "length": "c1"
           },
           {
               "start": "1b208",
               "length": "bf"
           },
           {
               "start": "1b2c8",
               "length": "24f4"
           },
           {
               "start": "1d7bd",
               "length": "1"
           },
           {
               "start": "1d7bf",
               "length": "7b5"
           },
           {
               "start": "1df75",
               "length": "6bc2"
           },
           {
               "start": "24b38",
               "length": "c99"
           },
           {
               "start": "257d2",
               "length": "2acb"
           },
           {
               "start": "2829e",
               "length": "13c"
           },
           {
               "start": "283db",
               "length": "d1"
           },
           {
               "start": "284ad",
               "length": "51"
           },
           {
               "start": "284ff",
               "length": "e3"
           },
           {
               "start": "285e3",
               "length": "d6"
           },
           {
               "start": "286ba",

"length": "a1"
           },
           {
               "start": "2875c",
               "length": "4efd"
           },
           {
               "start": "2d65a",
               "length": "1421"
           },
           {
               "start": "2ea7c",
               "length": "ab9"
           },
           {
               "start": "2f536",
               "length": "145"
           },
           {
               "start": "2f67c",
               "length": "14f"
           },
           {
               "start": "2f7cc",
               "length": "13f"
           },
           {
               "start": "2f90c",
               "length": "145"
           },
           {
               "start": "2fa52",
               "length": "14f"
           },
           {
               "start": "2fba2",
               "length": "156"
           },
           {
               "start": "2fcf9",
               "length": "157"
           },
           {
               "start": "2fe51",
               "length": "2843"
           },
           {
               "start": "32695",
               "length": "139"
           },
           {
               "start": "327cf",
               "length": "140"
           },
           {
               "start": "32910",
               "length": "13f"
           },
           {
               "start": "32a50",
               "length": "139"
           },
           {
               "start": "32b8a",
               "length": "4e08"
           },
           {
               "start": "37993",
               "length": "f"
           },
           {
               "start": "379a3",
               "length": "12c"
           },
           {
               "start": "37ad0",
               "length": "4"
           },
           {
               "start": "37ad5",
               "length": "14b"
           },
           {
               "start": "37c21",
               "length": "6"
           },
           {
               "start": "37c28",
               "length": "137"
           },
           {
               "start": "37d60",
               "length": "d"
           },
           {
               "start": "37d6e",
               "length": "127"
           },
           {
               "start": "37e96",
               "length": "9"
           },
           {
               "start": "37ea0",
               "length": "130"
                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                             175,1         Top

Там текст нормальный - полотно

а что со свободным местом на 24 и 36?

Места много

54-60%

24   hdd 3.63869  1.00000 3.64TiB 1.99TiB 1.99TiB  215MiB 5.34GiB 1.64TiB 54.80 1.00  68

36   hdd 3.63899  1.00000 3.64TiB 2.11TiB 2.11TiB  103MiB 7.61GiB 1.53TiB 58.07 1.06  70

такое впечатление что обе версии страницы битые. попробуйте rados list-inconsistent-obj 37.55 --format=json-pretty и если там нет важных объектов, или их можно пересоздать, то пересоздавайте, а страницу удаляйте через ceph pg 37.55 mark_unfound_lost delete

в целом на другое кластер не матерится? clock skew или еще что?

В том и проблема, что убить совсем их не могу
Там может быть важные данные прода

Но мысль,что обе pgs и так битые меня посещала

Может такие портянки через пастебин кидать ?

https://pastebin.com/EAiVSSig - накидал скрипт.  ./rbd_check_by_pg.sh pool pg | sort -u

не помню как объекты исходя из pg  посмотреть

если rbd то так можно помотреть, если что-то другое типа cephfs то увы

всем трям, cephfs примаунчин на клиенте, докинул осд место увеличилось, но клиент видит еще старое место, бегло по доке не нашел, можно ли без ремаунта пнуть клиента?

Новые клиенты видят полный объём?

новых клиентов нет, на одном их старых сделал ремаунт - ничего не изменилось

Если нет, то надо посмотреть crush rules и используются ли новые осд для пула ceph_data