Снепшоттинг?

есть желание иметь некое левое хранилище вообще никак не связанное с ceph. чтобы если кто-то придет к нам и капитально что-то в нем сломает была гарантия что данные остались. Я не уверен что оно того стоит и что это в итоге будет сделанно, но если есть что-то готовое и хорошо работающее то наверно возьмем. Я понимаю что cephfs вроде как обычная fs внешне и можно что-то левое юзать, но может есть что-то именно под ceph.
Снапшот я так понимаю просто на тех же дисках делает чекпоинт и не дает его изменить, но если дропнуть больше трех нод наверно он потеряется, если делать снапшот на сторону то скорее всего это дорого и не инкрементально, но может быть я не прав, я не успел по ним доку прочитать.

В идеале хочется что-то что будет на соседние диски копировать файлы когда они появляются, во вторых чтобы удаление чего-то в ceph не удаляло эти файлы, в третьих был какой-то демон и чекал вдруг что пропало в бэкапе и сравнивал чексуммы например, в четвертых при потере диска бэкапа делал из кластера еще один бэкап в живой диск.

Что-то свое под это не хочется писать

пока из идей сделать еще один кластер ceph и по notify копировать туда файлы плюс какой-то демон написать который сверяет списки файлов и хешсуммы

либо как аналог cache tiering точно так же сделать просто tiering одного кластера во второй, который менеджится отдельно и с низкой вероятностью они помрут одновременно, но я не уверен что его можно так просто настроить, плюс надо как-то запретить удалять

либо забить на бэкап и какими-то административными мерами решать подобные вопросы

стоит найти системного администратора )

ваш к.о.

Experimental Features — Ceph Documentation
https://docs.ceph.com/docs/master/cephfs/experimental-features/#snapshots

https://github.com/ceph/ceph/pull/29489
скоро доделают и скедулер для снапшотов

👍

https://archive.fosdem.org/2018/schedule/event/backup_ceph_at_scale/attachments/slides/2671/export/events/attachments/backup_ceph_at_scale/slides/2671/slides.pdf

если интересно, ищи полный доклад на просторах интернета

спасибо

но следует учитывать что там и объемы чуть другие
но они пару разных подходов описывают, что-то может и подойти

а в случае erasure coded пула ceph же дает читать данные если потерялся osd и он еще не успел новый полностью пересоздать? или будет заблокированно все пока не перекачает кучу данных?

Так будет если твой инженер - долбаеб.

при чем здесь инженер? вопрос в том восстанавливает ли ceph данные на лету по запросу до того как пересоздал до конца весь потерянный блок

Потому что ваш вопрос невозможно ответить правильно. Причем тут восстановленный блок если объект и так можно собрать из EC чанков?

в одном случае надо просто склеить данные, в другом восстановить через ec, наверно было бы глупо если бы он этого не делал, но я не нашел явного утверждения об этом

Народ, подскажите как подцепить в ceph через ceph-deploy osd create --data /dev/sdb multipath устройства?

выкиньте цеф )) он вам не нужен с вашими полками))