Size: a a a

SDS и Кластерные FS

2020 December 13

S

Slach in SDS и Кластерные FS
а кто нибудь уже использовал gp3 storage class в AWS?
источник

YS

Yaroslav Sapak in SDS и Кластерные FS
Slach
а кто нибудь уже использовал gp3 storage class в AWS?
У нас часть инстансов уже перевели на него. Работает класно
источник

S

Slach in SDS и Кластерные FS
Yaroslav Sapak
У нас часть инстансов уже перевели на него. Работает класно
а в связке с EKS не пробовали?
у меня не получается получить заявленный throughput в 1000Mb/s
при этом нормально получается в fio получить 16k iops
источник

YS

Yaroslav Sapak in SDS и Кластерные FS
Slach
а в связке с EKS не пробовали?
у меня не получается получить заявленный throughput в 1000Mb/s
при этом нормально получается в fio получить 16k iops
За екс пока не скажу, как и за скорость. По иопсам планку ее поднимали, стандартных 3к пока достаточно, их выдает легко
источник

S

Scumtron in SDS и Кластерные FS
Приветы! Други, подскажите есть ли альтернатива Beegfs, что бы не было высоких требования к сети, как у того же Ceph? Нужен сторадж под видеохостинг (в основном чтение), а из доступного железа есть только 20 серверов Xeon-D 1521, 16GB RAM, 4x4TB HDD + 1x500GB SSD NVMe, 1 Gbit сеть. Вот голову ломаю, как организовать это все в одну ФС, что бы и в отказоустойчивость умело, и без 10+ Гбит сети...
источник

DB

Dmitry Burlakov in SDS и Кластерные FS
Scumtron
Приветы! Други, подскажите есть ли альтернатива Beegfs, что бы не было высоких требования к сети, как у того же Ceph? Нужен сторадж под видеохостинг (в основном чтение), а из доступного железа есть только 20 серверов Xeon-D 1521, 16GB RAM, 4x4TB HDD + 1x500GB SSD NVMe, 1 Gbit сеть. Вот голову ломаю, как организовать это все в одну ФС, что бы и в отказоустойчивость умело, и без 10+ Гбит сети...
Репликацию поверх zfs сделайте
источник

DB

Dmitry Burlakov in SDS и Кластерные FS
Или rsync ))
источник

S

Scumtron in SDS и Кластерные FS
Rsync не решает проблемы, нужно клиентам выделать место на сторадже под их требования
источник

S

Scumtron in SDS и Кластерные FS
сейчас это все разбросано и много места теряется из-за этого, хочется в одну FS и нарезать )
источник

M

Murmuring in SDS и Кластерные FS
А zfs + drbd9
источник

S

Scumtron in SDS и Кластерные FS
Я вот на Linstor сейчас смотрю
источник

k

kvaps in SDS и Кластерные FS
можно глюстер ещё глянуть, но как по мне оно достаточно медленное
источник

k

kvaps in SDS и Кластерные FS
или что-то с erasure coding
источник

k

kvaps in SDS и Кластерные FS
а кто клиенты?
источник

S

Scumtron in SDS и Кластерные FS
Клиент - сайт с 100500 роликами )
источник

S

Scumtron in SDS и Кластерные FS
Один может быть 100ГБ, другой хочет 10TB места
источник

S

Scumtron in SDS и Кластерные FS
kvaps
можно глюстер ещё глянуть, но как по мне оно достаточно медленное
Я попробовал BeegsFS, вполне достойное решение как я считал, пока не прочитал ваше сообщение про его надежность )
источник

S

Scumtron in SDS и Кластерные FS
т.е. на 5 нод с 1 гбит каналом в тесте на боевом клиенте он выдал положенные 5 гбит, при этом нагрузка на машины была копеечная.
источник

ОН

Олег Неумывакин... in SDS и Кластерные FS
@Scumtron а насколько быстро нужно отдавать файлы?
источник

S

Scumtron in SDS и Кластерные FS
Олег Неумывакин
@Scumtron а насколько быстро нужно отдавать файлы?
Видеохостинг типичный. Задержки не так сильно критичны, но хотелось бы что бы моментально )
источник