Хз, ты мимо не пробегал

После отвала 1 из 4 нод и ребаланса ceph выдаёт

Перед подключением отпавшей ноды нужно что-то решать с этой проблемой?

Снежана Еремина: user has been CAS banned

В одной из виртуалок kvm потерлось начало диска.
Удалось восстановить раздел testdisk и восстановить бут

Получается все таки вопрос- откат pg на предыдущую версию может дать потерю данных? И pg я отказываю всю или только потерянный объект в ней

подключение отпавшей ноды решит эту проблему )

Вывел OSD
однако ребалансинг небыстрый процесс

можно подкрутить, но не советую без опыта))

спасибо, не планирую торопиться.
Переживаю как бэ в клауд маус не сыграть

но пока вроде всё ровно

Если у кого есть возможность за вознаграждение обсудить почему я потерял данные, напишите в личку плиз

Пиши

Подумаем

Всем привет. есть вопросы, по s3. чет голову сломал и не пойму куда смотреть (в доке чет тоже не нашел инфы).
вот делаю bucket stats и выползает вот такое:
   "usage": {
       "rgw.none": {
           "size": 0,
           "size_actual": 0,
           "size_utilized": 0,
           "size_kb": 0,
           "size_kb_actual": 0,
           "size_kb_utilized": 0,
           "num_objects": 18446744073709551615
       },
       "rgw.main": {
           "size": 82228108815,
           "size_actual": 82231824384,
           "size_utilized": 82228108815,
           "size_kb": 80300888,
           "size_kb_actual": 80304516,
           "size_kb_utilized": 80300888,
           "num_objects": 1850
       },

далее если сделаю listomapkeys,  то там:
root@cephmon3z23:~# rados --cluster z23 -p z23.rgw.buckets.index listomapkeys .dir.1e440475-10a6-4cfb-97ab-174d923e19b9.12350571.1  | wc -l
5938
кол-во ключей постоянно растет.
причем копятся какие-то мутные записи типа:
�0_00000004303.84417490.79
�0_00000004304.84417490.82
�0_00000004305.84417490.85
�0_00000004306.84417490.88
�0_00000004307.84417490.91
�0_00000004308.84417490.94

И соответственно 2 вопроса: что такое rgw.none?
и что делать с такими ключами?
версия ceph 15.2.8 (но такое наблюдал и на предыдущих версиях). бакет не версионный, lc на нем нет. все multipart-uploads зачищены.  Причем такая история не со всеми бакетами происходит

radosgw-admin bilog list на этот бакет попробуйте сказать

ага. спасибо походу понял:
       "op_id": "00000001028.84413018.103",
       "op_tag": "1e440475-10a6-4cfb-97ab-174d923e19b9.11968681.482794286",
       "op": "del",
       "object": "_multipart_market/home.xml.2~qnk7QpWhZbac0O5ay66G-PqBH6A3A5V.33",
       "instance": "",
       "state": "complete",
       "index_ver": 1028,
       "timestamp": "2021-03-13T14:39:48.041152683Z",
       "ver": {
           "pool": 3,
           "epoch": 1180402
       },
       "bilog_flags": 0,
       "versioned": false,
       "owner": "",
       "owner_display_name": "",
       "zones_trace": []

это получается индекс забивается операциями типа del ?

Скоро будет новый наплыв, памажите у миня кластир сламалси...