Всем доброго дня, может подскажет кто

Есть маленький кластер на виртуалках для экспериментаторских целей.
В бакеты грузим большие файлы(около 10гб) при помощи multipart, ну и дальнейшая обработка самописным приложением.
При этом место в цефе улетает со скоростью света - на 100 гб реальных данных в кластере занято 800гб за неделю.
Посмотрели через rados ls - там большая часть занята огромным количеством файлов с multipart и shadow в названии.

Из этого вопросы возникают
1) что такое shadow файлы?
2) должны ли они подвергаться автоматической очистке со стороны кластера?
3) есть ли ручные методы кроме rados rm?

Всем доброго дня, может подскажет кто

Есть маленький кластер на виртуалках для экспериментаторских целей.
В бакеты грузим большие файлы(около 10гб) при помощи multipart, ну и дальнейшая обработка самописным приложением.
При этом место в цефе улетает со скоростью света - на 100 гб реальных данных в кластере занято 800гб за неделю.
Посмотрели через rados ls - там большая часть занята огромным количеством файлов с multipart и shadow в названии.

Из этого вопросы возникают
1) что такое shadow файлы?
2) должны ли они подвергаться автоматической очистке со стороны кластера?
3) есть ли ручные методы кроме rados rm?

Всем доброго дня, может подскажет кто

Есть маленький кластер на виртуалках для экспериментаторских целей.
В бакеты грузим большие файлы(около 10гб) при помощи multipart, ну и дальнейшая обработка самописным приложением.
При этом место в цефе улетает со скоростью света - на 100 гб реальных данных в кластере занято 800гб за неделю.
Посмотрели через rados ls - там большая часть занята огромным количеством файлов с multipart и shadow в названии.

Из этого вопросы возникают
1) что такое shadow файлы?
2) должны ли они подвергаться автоматической очистке со стороны кластера?
3) есть ли ручные методы кроме rados rm?

пулы - обычные, replicated, не erasure
различия между ceph df и реально известными нам файлами - мы прям знаем сколько положили

пулы - обычные, replicated, не erasure
различия между ceph df и реально известными нам файлами - мы прям знаем сколько положили

да я бы посмотрел, но ситуация была критичная - 90% почти сожрало, и я почистил
собрал через radosgw-admin orphans leadked-объекты и удалил через rados rm

видимо я что-то не так сделал..
я создал bcache девайс поверх lvm, и дальше надо было делать еще один lvm поверх bсache?

видимо я что-то не так сделал..
я создал bcache девайс поверх lvm, и дальше надо было делать еще один lvm поверх bсache?

Всем привет.
Кто-нибудь сталкивался с проблемами форматирования RBD расположенного на EC пуле?
Образ создается, мапится через RBD к целевой системе, отформатировать не могу, IO error
Сам диск создан на Replicated Pool, данные на EC перезапись разрешена.