а, ну может. лень теорвер вспоминать что бы оценить насколько оно может улутшиться

Сэнпаи, поясните, пожалуйста такой момент: в pve кластере руками сделал erasure coded pool, загнанный политиками репликации на один сервер, на корзину с жесткими дисками. Подцепил cache tier на мелком 3/2 пуле из SSD (три 20гб OSD), тоже привязанном политиками к этому же хосту. Цель - хранить инкерементальные бэкапы виртуалок proxmox с продаекшен пулов. Я все правильно сделал ?

Конечно, загонять все на один сервак на распределённой хранилке самое то 👍

нет возможности воткнуть по дешевому HDD на каждую ноду. Там все занято SSD. На SSD дорого хранить 100500 снэпшотов, поэтому я пытаюсь собрать аналог RAID6 на том сервере, где имеется корзина с жесткими.

Если бы была утилита для конвертации репликейшен стримов ceph<->zfs я бы хранил все это на raidz2, но ведь нет же ее.

Ну если так, то разве что кэштир вроде не обязателен

EC пулы не все фичи поддерживают, proxmoxовский storage backend без cache tier с ними не работает. В принципе, я все сделал так как написал, осталось два вопроса: я для тестов создал виртуалку на одном из хостов, с 1тб диском на этом EC пуле, загрузился с livecd и запустил dd if=/dev/zero of=/dev/sda bs=1MiB и минут через 10 htop на хосте показывает 40гб занятой памяти, самой виртуалке отдано 16гб, 4гб зарезервированно под hugepages, больше ничего прожорливого не запущено, остается только Ceph. OSD я пытался придушить через

[osd]
         osd_memory_target = 536870912

но похоже не в этом дело, и OSD на этом хосте не используются.
Как можно лимитировать использование ОЗУ, так чтобы ceph со всеми демонами не жрал больше 4-8гб ?

[osd]
         osd_memory_target = 536870912

Прокс тупит, т.к так все уже умеет в цефе

второй вопрос - скорость. ec pool - 4+2, dd в виртуалке показывает мне ~60Mb/s а ноды соеденены 40гбит сеткой, cephу включил RDMA в конфигах и на репликейшен пулах норм скорость (в смысле, вообще НОРМАЛЬНУЮ, 20-40к IOPS в зависимости от загрузки хостов).

вообще, я бы предпочел утилиту инкрементальные снэпшоты заливать на zfs и обратно ресторить на ceph, benji может покрыть только в ceph->zfs направлении

какой-то крайне странный сетап... под будущее расширение, возможно, но если это на всегда останется одним хостом, лучше выкинуть

продакшен пулы с OSD на всех 5 нодах кластера, но я хочу снапшоты по всем образам виртуалок делать раз в 1-10 минут и куда-то их бэкапить. Так чтобы все промежуточные снэпшоты сохранялись. Т.е. нужен один большой пул на недорогих накопителях, а во все ноды воткнуть по HDD я не могу (4 ноды из 5 - это 1/2U Intel s2600jfq сервера, в одном 2U корпусе с 12 HDD отсеками).

[osd]
         osd_memory_target = 536870912

По поводу памяти - в целом он до нее прожорлив и < 2 гб osd не жрет. Может что-то получиться, если сильно урезать мемтейблы rocksdb (их по дефолту 4*256мб)

А тут момент - ec через кэштиринг это мэдленно. Надо делать через --data-pool тогда уж

proxmox не умеет образа создавать с —data-pool —metadata-pool

не то чтобы я собираюсь виртуалки запускать с пула с бэкапами, но может потребоваться, чтобы какой-то определенный файл вытащить

разве с проксом в ручную нельзя это все сделать?

запатчи))

так и получается, 5 OSD, заняли 10гб, osd_memory_target не применимо в этом случае? Мне смутно помнится, что в 12.хх на pve 5 оно столько не жрало

Этот параметр это рекомендация. Если будет нужно больше - съест больше