кстати, а csi может в ReadWriteMany?

rbd умеет только в RWOnce

через cephfs

надо будет попробовать как-нить, а то для меня все еще cephfs это как аналогия nfs

ни разу не пробовал еще

Кто подскажет, обязательно при использовании bcache с osd    ставить рейт 40% , а не 10? а то я поставил  дефолтный  с 10% и у меня бенчмарки стали хуже показывать, чем дефолтный цеф, а пересобирать как-то долго. Стоит пробовать с 40 или   что-то еще лучше?

там два основных параметра влияющих на бенчмарк и поведение кеша
/sys/block/bcacheX/bcache/sequential_cutoff
/sys/block/bcacheX/bcache/writeback_percent

по поводу writeback надо смотреть статистику, на сколько реально заполняется кеш.

ну вот чтобы writeback_percent поменять с 10 на выше, нужно пересобирать модуль ядра, если я не ошибаюсь.  Стату смотрел, после fio на голом кластере примерно такая:

sudo tail /sys/block/bcache0/bcache/stats_total/*
==> /sys/block/bcache0/bcache/stats_total/bypassed <==
249.0M
==> /sys/block/bcache0/bcache/stats_total/cache_bypass_hits <==
0
==> /sys/block/bcache0/bcache/stats_total/cache_bypass_misses <==
50
==> /sys/block/bcache0/bcache/stats_total/cache_hit_ratio <==
91
==> /sys/block/bcache0/bcache/stats_total/cache_hits <==
1527
==> /sys/block/bcache0/bcache/stats_total/cache_miss_collisions <==
0
==> /sys/block/bcache0/bcache/stats_total/cache_misses <==
140
==> /sys/block/bcache0/bcache/stats_total/cache_readaheads <==
0

sudo tail /sys/block/bcache0/bcache/stats_total/*
==> /sys/block/bcache0/bcache/stats_total/bypassed <==
249.0M
==> /sys/block/bcache0/bcache/stats_total/cache_bypass_hits <==
0
==> /sys/block/bcache0/bcache/stats_total/cache_bypass_misses <==
50
==> /sys/block/bcache0/bcache/stats_total/cache_hit_ratio <==
91
==> /sys/block/bcache0/bcache/stats_total/cache_hits <==
1527
==> /sys/block/bcache0/bcache/stats_total/cache_miss_collisions <==
0
==> /sys/block/bcache0/bcache/stats_total/cache_misses <==
140
==> /sys/block/bcache0/bcache/stats_total/cache_readaheads <==
0

надо сделать echo "XX" >/sys/block/bcacheX/bcache/writeback_percent
максимум 40%

Просто странно, что когда кэш отрубаю,  HDD кластер быстрее работает. Мб из-за того, что  блютор (бд+вал) вынесены на те же SSD NVME, что и bcache, поэтому дополнительная нагрузка от кэша "замедляет"

а, ну мб просто мало процентов, попробую поставить 30-40, мб  ускорится

и там утилита есть bcache-status , она выводит статистику по bcache (чтобы по sysfs не лазить).
там есть total cache size, и total cache used. вот надо смотреть, если used 10% то будет писать напрямую на backing device.

а, лол, реально на лету через echo можно менять, а я думал пересобирать надо, спасибо, попробую с 40%

ну и скорость может быть ниже если с ssd  сбрасывает на hdd + прямая запись.. Хотя там есть механизм который притормаживает сброс кеша чтобы не тупил диск при прямой записи

для тестов сюда надо выставить гиг например, или по-моему 0 - выключает (не точно)
/sys/block/bcacheX/bcache/sequential_cutoff

а, а у меня 4 мегабайта по дефолту стояло, вот в чем причина

кто знает конкурентов оптана?

Прощай дешевый #optane

https://habr.com/ru/company/intersect/news/t/537842/

да и не для тестов туда тоже стоит пихать хотя бы 64М