Size: a a a

Ceph — русскоговорящее сообщество

2021 May 16

b

blkmrkt in Ceph — русскоговорящее сообщество
Ребят, что там с модулем RDMA для Цефа? В нем все так же течет память? У кого-нибудь есть с этим опыт?
источник

b

blkmrkt in Ceph — русскоговорящее сообщество
Читаю в доках про кластерную сеть -- вы такую приваную сеть имели ввиду?

Как вообще впечатления от RDMA, оно дешевле и быстрее выходит чем езернет?

It is possible to run a Ceph Storage Cluster with two networks: a public (client, front-side) network and a cluster (private, replication, back-side) network. However, this approach complicates network configuration (both hardware and software) and does not usually have a significant impact on overall performance. For this reason, we recommend that for resilience and capacity dual-NIC systems either active/active bond these interfaces or implemebnt a layer 3 multipath strategy with eg. FRR.
источник

ВН

Виталий На Заборе... in Ceph — русскоговорящее сообщество
в витасторе быстрее. в цефе нах не надо )
источник

ВН

Виталий На Заборе... in Ceph — русскоговорящее сообщество
но да, я имею в виду кластерную сеть
источник

ВН

Виталий На Заборе... in Ceph — русскоговорящее сообщество
у меня в витасторе работает по RDMA и взаимодействие клиента с осд, и осд с осд
источник

ВН

Виталий На Заборе... in Ceph — русскоговорящее сообщество
правда требуется ODP (On-Demand Paging), то есть ConnectX-4 минимум
источник

ВН

Виталий На Заборе... in Ceph — русскоговорящее сообщество
можно без него и на 3-ем скажем коннектиксе, но только mlockall() надо добавить
источник

ВН

Виталий На Заборе... in Ceph — русскоговорящее сообщество
ну и соответственно для клиента это неудобно делать mlockall
источник

b

blkmrkt in Ceph — русскоговорящее сообщество
Ну а что, даже в финансовом плане не получается дешевле с Inifiniband чем с >=10Gbps езернет свищами?
источник

ВН

Виталий На Заборе... in Ceph — русскоговорящее сообщество
а откуда дешевле? в смысле если на днищежелезе, на каких-нибудь древних connectx2 с ебэя?
источник

b

blkmrkt in Ceph — русскоговорящее сообщество
Угу, на NIC по $40 и свищ за может быть тыщу-две баксов
источник

b

blkmrkt in Ceph — русскоговорящее сообщество
Ищу с чем попердолиться дома чтоб понять нужно ли такое в датацентре
источник

ВН

Виталий На Заборе... in Ceph — русскоговорящее сообщество
да ну, нах это надо... ethernet же дешёвый, за те же деньги бэу карточки берутся, если уж ебэй доступен
источник

ВН

Виталий На Заборе... in Ceph — русскоговорящее сообщество
днищесвитч quanta lb6m / brocade turboiron 24x - вообще 200$
источник

b

blkmrkt in Ceph — русскоговорящее сообщество
Ну 10гиг свитчи то дорогие, а с Infiniband скорости и 25Гбпс и 50Гбпс бывают
источник

ВН

Виталий На Заборе... in Ceph — русскоговорящее сообщество
да хз... нужно ли говно мамонта в ДЦ - не понятно. connectx4 бэу стоит порядка 120-150$ на ебэе, а там уже всё хорошо и 2x25G. а кстати вообще в предыдущих поколениях есть что-то быстрее чем 10G? connectx3 вроде 2x10G
источник

ВН

Виталий На Заборе... in Ceph — русскоговорящее сообщество
а, вроде есть какие-то connectx3 2x40G, но они и стоят уже почти как 4-е
источник

ВН

Виталий На Заборе... in Ceph — русскоговорящее сообщество
и в connectx4 есть RoCEv2, то есть не нужно отдельную сеть IB делать
источник

b

blkmrkt in Ceph — русскоговорящее сообщество
А можно заменить езернет на линуксах этими 25-гбпс NICами и одним Mellanox свищем? Чтоб роутинг с ип работал и без доп. лицензий?

Столько этих разных железяк, я путаюсь
источник

ВН

Виталий На Заборе... in Ceph — русскоговорящее сообщество
в смысле заменить? connectx4 они Ethernet, просто они ещё умеют RDMA поверх TCP
источник