Size: a a a

SDS и Кластерные FS

2020 November 16

G

Glor in SDS и Кластерные FS
Какая всратая статья. "wd не имеет отношения к hgst", да ладно?
источник

S

Slach in SDS и Кластерные FS
Виталий На Заборе
Потому что отдельная поддержка нужна, апи не особо удобные, плюс это polling, т.е надо жрать 100% CPU и неудобно это интегрировать с eventloop-ом. Плюс на самом деле и тормоза оно убирает не так хорошо. Эффективность у io_uring считай такая же. То же самое с DPDK, кстати. Я потестил F-Stack + DPDK и получил латенси ХУЖЕ, чем через ядро. То есть в каких-то узких применениях м.б и катит. Конкретно для DPDK это условно кейс DPI/генератора трафика или чего-то еще такого, в общем, где нужно ПСП, но не задержка. С SPDK думаю в чем-то похоже - если узкий кейс, когда софт работает только с диском, то может и будет профит. Правда есть какие-то извраты типа qemu+spdk через какой-то отдельный поток, но применение, опять же, крайне ограничено + жор CPU + все равно переключения контекста + недавно была статья про io_uring passthrough (новое, экспериментальное нечто) и оно там оказалось лучше этого SPDK
вот про поллинг соглашусь
источник

S

Slach in SDS и Кластерные FS
=) потому что купили так то да, имеют =)

но вообще конечно сейчас на рынке бардак
очень много кто продает полный OEM флеш чипы
дофига кто делает только контроллеры
и есть те кто фигачат из этого все "типа продукт"

дырочки в флешках для битлайнов в TCL \ QLC ионной бомбардировкой умеют делать ВЕСЬМА маленькое кол-во компаний в мире
источник

S

Slach in SDS и Кластерные FS
а вот кстати mayastor + openebs?
с этим кто нибудь тут игрался?
источник

k

kvaps in SDS и Кластерные FS
Slach
а вот кстати mayastor + openebs?
с этим кто нибудь тут игрался?
Я опенебсом игрался, но с cStor'ом, было медленно
источник

k

kvaps in SDS и Кластерные FS
Но в целом дизайн выглядит прикольно
источник

k

kvaps in SDS и Кластерные FS
Надо будет mayastor затестить тоже
источник

S

Slach in SDS и Кластерные FS
kvaps
Надо будет mayastor затестить тоже
о! это прямо повод для статьи
вроде по обещаниям хотят очень хорошо сделать
но что будет на практике, пока не ясно
источник

r

redbonta in SDS и Кластерные FS
Привет, ребята, можно попросить кого либо о помощи в конфигурации leofs. Если можно в личке чтобы не флудить тут.
К сожалению официальная документация оказалась сложнее чем аналогичные типа glusterfs или minio.
Буду очень признателен кто откликнется.
источник

k

kvaps in SDS и Кластерные FS
redbonta
Привет, ребята, можно попросить кого либо о помощи в конфигурации leofs. Если можно в личке чтобы не флудить тут.
К сожалению официальная документация оказалась сложнее чем аналогичные типа glusterfs или minio.
Буду очень признателен кто откликнется.
Было бы отлично также пофлудить здесь о ней)
источник

r

redbonta in SDS и Кластерные FS
kvaps
Было бы отлично также пофлудить здесь о ней)
если тут не против, я порядков группы не знаю.
источник

r

redbonta in SDS и Кластерные FS
Возможно кто то сталкивался с ней, подскажите, пожалуйста. Как мне подключать новые стороджи? и гетвеи к примеру. Я конфиги просмотрел и к сожалению вижу что жестко прописываются только менеджеры. А как другие ноды цеплять я не понимаю. документация к сожалению не дает весь ответ. + списко команд расходится с документаций, у меня lefs-adm больше дает чем в доке описано)
источник

r

redbonta in SDS и Кластерные FS
я собрал кластерное решение силами ансибля, работает но все же не идеально, в тестовой среде конечно результаты меня больше устраивают чем минио.
3 минуты на 3.5 ГБ порядка 30 тыс файлов.  Против такого же объема в минио который за 20 минут заливает.
источник

r

redbonta in SDS и Кластерные FS
Но конфигурация леофс что то мне сложно дается.
источник

ВН

Виталий На Заборе... in SDS и Кластерные FS
redbonta
если тут не против, я порядков группы не знаю.
не против - за
источник

ВН

Виталий На Заборе... in SDS и Кластерные FS
дядя который НОЧЬЮ ЧЕРЕЗ ЛЕС говориЛ что у них леофс умер
источник

ВН

Виталий На Заборе... in SDS и Кластерные FS
https://yourcmc.ru/wiki/Блог:Виталий_Филиппов/2019-02-06_Ночью_через_лес краткая история моих наблюдений за дядей
источник

ВН

Виталий На Заборе... in SDS и Кластерные FS
redbonta
Возможно кто то сталкивался с ней, подскажите, пожалуйста. Как мне подключать новые стороджи? и гетвеи к примеру. Я конфиги просмотрел и к сожалению вижу что жестко прописываются только менеджеры. А как другие ноды цеплять я не понимаю. документация к сожалению не дает весь ответ. + списко команд расходится с документаций, у меня lefs-adm больше дает чем в доке описано)
Я просто прям оттуда помню, что дядя говорил что у них потом в leofs кончилось место, они попробовали добавить пару серверов… и leofs развалился на хрен. Они позвонили японцам-авторам, те их час послушали и сказали «простите, у нас кончилось время, до свидания».
источник

r

redbonta in SDS и Кластерные FS
т.е. вы не рекомендуете леофс?  но пока что это единственное что в тестах на распределенных ДЦ показало отличные результаты.

Минио тоже туда стремится, но к сожалению оно очень не стабильное. Платная техподдержка, развела не деньги, 4 дня мурыжила, за эти 4 дня дала 3 багфикса и в итоге сказали, мы вам помочь не сможем... Что то про надежность затирали а результаты отвратительные. ДЦ плохие, сервера плохие, диски плохие.  При этом леофс почему то в такой  же обстановке показал гораздо лучше.
источник

ВН

Виталий На Заборе... in SDS и Кластерные FS
redbonta
т.е. вы не рекомендуете леофс?  но пока что это единственное что в тестах на распределенных ДЦ показало отличные результаты.

Минио тоже туда стремится, но к сожалению оно очень не стабильное. Платная техподдержка, развела не деньги, 4 дня мурыжила, за эти 4 дня дала 3 багфикса и в итоге сказали, мы вам помочь не сможем... Что то про надежность затирали а результаты отвратительные. ДЦ плохие, сервера плохие, диски плохие.  При этом леофс почему то в такой  же обстановке показал гораздо лучше.
я хз - сам его не пробовал
источник