И типа пытаются что-то выжать на дешманском коммутаторе

Т.е. штука в том, что если Ceph использует HDD, то на случайной записи операции не сильно быстрее случайной на HDD и журнал на SSD не особо помогает. А вот если незаметно для Ceph подложить в качестве кеша SSD (скажем кеш в контроллере включить или как intel через свой фреймворк) с writeback, то скорость на случайные операции должна сильно вырасти, но ценой снижения надежности.

Я так понял, что такой сценарий не является рекомендованным для Ceph, а кто-то с ним на практике имел дело? Ведь даже если кеш на контроллере сдохнет, Ceph должен пережить потерю одной ноды.

всё там нормально, многие юзают bcache

надёжность особо не снижается, т.к. всё равно у всех под block.db ssd

но рост скорости - это вещь такая довольно условная

если цеф на голых хдд без ссд вообще просто неюзабелен, то цеф с bcache становится более-менее юзабелен. по факту цеф - это не про скорость. это только про надёжность и масштабируемость. условно ты получаешь 1/5 (очень условно) производительности, но когда она помножена на 100 серваков, то типа норм

по latency на ссд цеф вообще СОСЁТ

на ЛЮБОГО размера кластере

и на ЛЮБОМ железе

даже если у тебя там чистые оптаны и 100Г сеть

другое дело конечно что всё познаётся в сравнении и тот же амазоновский EBS-то по сути особо не быстрее

а как бы даже не медленнее

Но в 2021 году даже на sas-шпинделях с известной пропускной способностью шины 1Гбит сеть выглядит смешно

это да, +100. говносвитч 10Г стоит 200-300$

opencas интеловский я разок пробовал, у меня он крашился

я решил что нахер с ним связываться. крашнется и данным пи?да

Да я не спорю, при последовательных операциях даже одна машина может 1Г прокачать даже на HDD и если новый кластер планируешь, то нет смысла на 1Г строить.

Если говорить про латентность Ceph на случайных операциях, то надо понимать с чем сравнивать. Если нужна отказоустойчивость, то по любом сравнивать с локальными дисками не получится и скорее будешь смотреть в общую хранилку. А значит она тоже подключена по Ethernet или FibreChannel и тоже имеет свой оверхед, который сильно зависит от того, как эту общую хранилку организовать. Ну вот я в бенче и собрал CIFS и Ceph, чтобы хоть качественно представлять порядок цифр и кто кого быстрее.

Получилось, кстати, местами интересно. Так если кластер Ceph маленький, то растет вероятность, что читать ты будешь с локального OSD, а не по сети.

"есть 6 команд. их достаточно чтобы получить базовое впечатление о любом блоксторадже:
fio -ioengine=libaio -name=test -direct=1 ..."

Вот тоже думал с iodepth=1 потестить.

Но со чтением из ВМ/LXC облом получился: читают из памяти не смотря на -direct=1.

Кэши дропни перед тестом