Size: a a a

SDS и Кластерные FS

2020 September 13

k

kvaps in SDS и Кластерные FS
Alex
Telegram
Виталий На Заборе in Ceph — русскоговорящее сообщество
А мы тут с @lexasoft123 немножко натянули цеф на кукан. Протестили мой Vitastor (и цеф, для сравнения) на кластере из 4 нод по 6x SATA SSD Intel D3-4510, 2x Xeon Gold 6242 @2.8 Ггц и 384 ГБ памяти с сетью 25 Гбит/с

Vitastor:
- Запись в 1 поток 7087 иопс
- Чтение в 1 поток 6838 иопс
- Запись в 2x64 потока (T2Q64) 162000 иопс при жоре суммарно примерно 3 ядер CPU на каждой ноде
- Чтение в 8x64 потока 689000 иопс при жоре суммарно примерно 5 ядер CPU на каждой ноде
 (причём это меньший результат, тут все primary были на 2 и 4 нодах, а тест шёл с 1-й. если primary на всех, то часть идёт через локалхост и выходит 962000 иопс)

Ceph:
- Запись в 1 поток ~1000 иопс
- Чтение в 1 поток ~1750 иопс
- Запись в 8x64 потока ~100000 иопс при жоре суммарно примерно 40 ядер CPU на каждой ноде
- Чтение в 8x64 потока ~480000 иопс при жоре суммарно примерно 40 ядер CPU на каждой ноде

Всё 4кб блоки, в обоих случаях 2x репликация и 2 OSD на 1 SSD

В принципе можно даже отметить, что Ceph на запись практически выжал потенциал SATA…
Огонь! А как тестили, в виртуалках?
источник

A

Alex in SDS и Кластерные FS
kvaps
Огонь! А как тестили, в виртуалках?
Баре метал
источник

k

kvaps in SDS и Кластерные FS
Через квему-нбд?
источник

k

kvaps in SDS и Кластерные FS
А, фио же
источник

A

Alex in SDS и Кластерные FS
Не, там свой драйвер для куему и для фио
источник

k

kvaps in SDS и Кластерные FS
Я просто думаю как бы его к кубу прикрутить, нужно будет блочное устройство какое-нить
источник

LB

Let Eat Bee in SDS и Кластерные FS
Alex
Telegram
Виталий На Заборе in Ceph — русскоговорящее сообщество
А мы тут с @lexasoft123 немножко натянули цеф на кукан. Протестили мой Vitastor (и цеф, для сравнения) на кластере из 4 нод по 6x SATA SSD Intel D3-4510, 2x Xeon Gold 6242 @2.8 Ггц и 384 ГБ памяти с сетью 25 Гбит/с

Vitastor:
- Запись в 1 поток 7087 иопс
- Чтение в 1 поток 6838 иопс
- Запись в 2x64 потока (T2Q64) 162000 иопс при жоре суммарно примерно 3 ядер CPU на каждой ноде
- Чтение в 8x64 потока 689000 иопс при жоре суммарно примерно 5 ядер CPU на каждой ноде
 (причём это меньший результат, тут все primary были на 2 и 4 нодах, а тест шёл с 1-й. если primary на всех, то часть идёт через локалхост и выходит 962000 иопс)

Ceph:
- Запись в 1 поток ~1000 иопс
- Чтение в 1 поток ~1750 иопс
- Запись в 8x64 потока ~100000 иопс при жоре суммарно примерно 40 ядер CPU на каждой ноде
- Чтение в 8x64 потока ~480000 иопс при жоре суммарно примерно 40 ядер CPU на каждой ноде

Всё 4кб блоки, в обоих случаях 2x репликация и 2 OSD на 1 SSD

В принципе можно даже отметить, что Ceph на запись практически выжал потенциал SATA…
Что такое vitastor, не гуглится :(
источник

A

Alex in SDS и Кластерные FS
Let Eat Bee
Что такое vitastor, не гуглится :(
Пушто его только написали
источник

A

Alex in SDS и Кластерные FS
🤣
источник

k

kvaps in SDS и Кластерные FS
Let Eat Bee
Что такое vitastor, не гуглится :(
@vitalif свой стор запилил
источник

ВН

Виталий На Заборе... in SDS и Кластерные FS
Let Eat Bee
Что такое vitastor, не гуглится :(
И не загуглицца, это я его только что написал =)))
источник

G

George in SDS и Кластерные FS
Let Eat Bee
Что такое vitastor, не гуглится :(
@vitalif пора делать хотя бы заглушку на гитхабе)
источник

ВН

Виталий На Заборе... in SDS и Кластерные FS
George
@vitalif пора делать хотя бы заглушку на гитхабе)
Ага
источник

ВН

Виталий На Заборе... in SDS и Кластерные FS
Точно
источник

G

George in SDS и Кластерные FS
можешь как модно одно время было - в ридми этот бенч положить, а кода не будет😂
источник

LB

Let Eat Bee in SDS и Кластерные FS
Виталий На Заборе
И не загуглицца, это я его только что написал =)))
Интерфейс для хранения блобов подобный, но не обязательно прям как в S3 будет?
источник

A

Alex in SDS и Кластерные FS
George
можешь как модно одно время было - в ридми этот бенч положить, а кода не будет😂
И контакты сейлз департамента ага
источник

ВН

Виталий На Заборе... in SDS и Кластерные FS
Let Eat Bee
Интерфейс для хранения блобов подобный, но не обязательно прям как в S3 будет?
Не, блочное хранилище. С3 нэт
источник

ВН

Виталий На Заборе... in SDS и Кластерные FS
Ну т.е типа rbd такое
источник

G

George in SDS и Кластерные FS
Alex
И контакты сейлз департамента ага
+
источник