А значит у вас есть RBD/CephFS/S3

пока только cephfs

репликация не  бекап же

Репликация не бэкап - но репликация защищает данные от повреждения за счёт поломки железа; а разделение сетей и доступов - не допускает к данным посторонних.

Ну а так - готовых инструментов под CephFS, которыми можно было бы быстро посчитать дельту и забрать её куда-нибудь в сторонку - ни сам я не смог найти, ни подсказок никаких куда смотреть не поступало.

Снэпшоты - не в счёт :) Это не совсем бэкап, и если цеф ляжет - то и снэпшоты вместе с ним, так что данные уже будет не достать. Тем более, что чем больше снэпшотов в CephFS - тем больше вероятность, что он ляжет.

бекапить нужно на уровне логики данных

тогда только rsync

потому что бэкап хранилища на X PB (а если меньше -- нафига цеф вообще?) поднимает следующие вопросы:
1. хранить (надежно) эти X PB (я не любитель лент, но скажем для 5PB надо 277 кассет LTO-9). это деньги, объемы.
1.1 даже X*Y PB, потому что еще за несколко дней дельты
2. успевать записывать дельту за интервал между бэкапами
3. востанавливать бэкап за разумное время. (опять же, для LTO-9 это 144 суток. ммм... а точно этот бэкап еще нужен?)
3.1 окей, а собственно сколько времени будет идти первоначальный бэкап? сколько-сколько?! полгода?! а сколько мы потом дельтами догонять будем? вечность?
за какое время вы востановите X PB? хотя бы тупо эти PB поделить на скорость трансфера, потери на мелкости файлов пренебрегаем
4. управлять этим всем говном. в X PB у нас будет вероятно несколько миллиардов файлов. про каждый надо знать где именно в бэкапе он находится. у нас есть решения которые это позволяют? а каких ресурсов они требуют?

cloudberry

5. ну и вообще прочекать хотя бы список всех объектов. это сколько времени займет? сутки? месяц?

Veeam 😄

Правда оно работать будет полным перебором скорее всего

вот да: кидать нужные файлы и в цеф и сразу на какой-то бэкап, который не позволяет delete

AWS S3 с локами, как вариант)

а как у него с масштабированием в обе стороны?

С масштабированием в отличие от того же минио всё збс. Надо больше стораджей - просто добавляешь больше стораджей без всякого геморроя.

надо будет посомтреть.
ceph-то очень удобен, что можно добавлять ноды, добавлять osd в ноду, убирать osd, ноды, менять диски на диски другого размера и останется всегда необходимое для безопасной работы состояние в итоге после ребалансировки

Второй цепх, где в s3 только put разрешён

включение версионности на бакете снимает много проблем связанных с человеческим фактором )