Size: a a a

SDS и Кластерные FS

2020 September 13

AT

Alex Tkachuk in SDS и Кластерные FS
Я, возможно, чего-то не понимаю, но rtt 0.046мс - к соседнему хосту. Т.е. в 6 раз меньше чем у вас. Никаких лоу-латенси сетевушечек, свичей по пути нет.
источник

AT

Alex Tkachuk in SDS и Кластерные FS
Alex Tkachuk
Я, возможно, чего-то не понимаю, но rtt 0.046мс - к соседнему хосту. Т.е. в 6 раз меньше чем у вас. Никаких лоу-латенси сетевушечек, свичей по пути нет.
Ну а это, соответственно, 46 микросекунд
источник

PK

Pavel Kolobaev in SDS и Кластерные FS
у меня почти везде 0.046 к самому себе. к соседу 0.100+
источник

A

Alex in SDS и Кластерные FS
Pavel Kolobaev
у меня почти везде 0.046 к самому себе. к соседу 0.100+
Какие линки?
источник

PK

Pavel Kolobaev in SDS и Кластерные FS
о да сорян я 0 после заяпятой недописал
источник

PK

Pavel Kolobaev in SDS и Кластерные FS
Mellanox Technologies MT27710 Family [ConnectX-4 Lx] + LACP
источник

AT

Alex Tkachuk in SDS и Кластерные FS
Alex
Какие линки?
А какая разница если 0.046 к самому себе? Там что-то не так не в линке
источник

A

Alex in SDS и Кластерные FS
Pavel Kolobaev
Mellanox Technologies MT27710 Family [ConnectX-4 Lx] + LACP
а свитч?
источник

PK

Pavel Kolobaev in SDS и Кластерные FS
какой-то nexus leaf. модель не знаю я стойку в глаза не видел.
источник

A

Alex in SDS и Кластерные FS
rtt min/avg/max/mdev = 0.018/0.038/0.136/0.020 ms, ipg/ewma 0.047/0.040 ms
источник

A

Alex in SDS и Кластерные FS
меланокс 25ж + жупинер qfx5200
источник

A

Alex in SDS и Кластерные FS
без бондов правда
источник

PK

Pavel Kolobaev in SDS и Кластерные FS
а во да на одном сервере который сейчас дыернули из dev (на нем только ось).
к себе 0.01мс
к соседу 0.056мс
источник

ВН

Виталий На Заборе... in SDS и Кластерные FS
А, ой, не
источник

ВН

Виталий На Заборе... in SDS и Кластерные FS
Нормально же
источник

A

Alex in SDS и Кластерные FS
Тормознуто выше
источник

ВН

Виталий На Заборе... in SDS и Кластерные FS
Да, точно
источник

A

Alex in SDS и Кластерные FS
Pavel Kolobaev
у меня почти везде 0.046 к самому себе. к соседу 0.100+
Вот
источник

PK

Pavel Kolobaev in SDS и Кластерные FS
у меня там lacp+iptables(nft)+route и всего много
источник

A

Alex in SDS и Кластерные FS
Telegram
Виталий На Заборе in Ceph — русскоговорящее сообщество
А мы тут с @lexasoft123 немножко натянули цеф на кукан. Протестили мой Vitastor (и цеф, для сравнения) на кластере из 4 нод по 6x SATA SSD Intel D3-4510, 2x Xeon Gold 6242 @2.8 Ггц и 384 ГБ памяти с сетью 25 Гбит/с

Vitastor:
- Запись в 1 поток 7087 иопс
- Чтение в 1 поток 6838 иопс
- Запись в 2x64 потока (T2Q64) 162000 иопс при жоре суммарно примерно 3 ядер CPU на каждой ноде
- Чтение в 8x64 потока 689000 иопс при жоре суммарно примерно 5 ядер CPU на каждой ноде
 (причём это меньший результат, тут все primary были на 2 и 4 нодах, а тест шёл с 1-й. если primary на всех, то часть идёт через локалхост и выходит 962000 иопс)

Ceph:
- Запись в 1 поток ~1000 иопс
- Чтение в 1 поток ~1750 иопс
- Запись в 8x64 потока ~100000 иопс при жоре суммарно примерно 40 ядер CPU на каждой ноде
- Чтение в 8x64 потока ~480000 иопс при жоре суммарно примерно 40 ядер CPU на каждой ноде

Всё 4кб блоки, в обоих случаях 2x репликация и 2 OSD на 1 SSD

В принципе можно даже отметить, что Ceph на запись практически выжал потенциал SATA…
источник