парни, возможно проскакивало уже где-то, а когда куберу отдают pool под pv, он там может после создания еще и удалять образы внутри пула ?
прав то хватает

у адептов "церковь метрик" пошла кровь из глаз)

а это нормально что у меня случился ремапинг на части pg на пуле, отличном от того, на которому я изменил crush_rule?

Ну id-шники бакетов если поменялись которые использовал тот пул тоже, то да

т.е. чисто в теории, даже минимальнейшее изменение в самом маленькой пуле, на самой маленькой OSD может заставить ехать все данные? :)

да нет, не похоже что id поменялись

я сделал ceph osd pool set default.rgw.buckets.index crush_rule ssd_rule

а у меня начали двигаться части pg (не все) на остальных.

как будто от того что на каких-то osd стало меньше pg он решил это скомпенсировать

Поднял RGW Multisite на Octopus с помощью ceph-ansible - все завелось и работает, смущает только дашборд в кооторый после создания пользователя или бакета начал выводить сообщение «Warning The user list data might be stale. If needed, you can manually reload it.» , данные синкаются из мастер зоны в slave вполне успешно, никаких ошибок radosgw-admin sync status не показывает (metadata is caught up with master, data is caught up with source). Может кто-то сталкивался, откуда берется такое сообщение в дашборде?

Кто б cephadm так же повторил ручками, я б посмотрел на этот мануал

тут вполне себе мануал

https://www.youtube.com/watch?v=wIw7RjHPhzs O_o

https://github.com/ceph/ceph/releases/tag/v14.2.10
скоро в новостях

Как посоветуете поднять ceph на centos 8: через ansible или caphadmin?

Следующим вопросом будет как починить сеф и где купить новый паспорт

Используйте рук

это не боевой ceph

вот именно его как то не рекомендуют