S
Vladimir Manko
посмотрите этот канал и поройтесь у них на сайте (там скрипты, конфиги) - у ребят как раз аналогичные вашим задачи и они активно использовали zfs/ceph/glusterfs https://www.youtube.com/channel/UCV_OrwHDqXdz7JuxjROhetA
Благодарю
Size: a a a
2020 December 13
k
я бы ещё раз взглянул на rozofs, мне кажется с erasure-coding она должна неплохую производительность выдать в гигабитной сети.
S
Ох сколько информации )
S
Спасибо всем за отклик )
S
На неделю тестов )
k
я бы ещё раз взглянул на rozofs, мне кажется с erasure-coding она должна неплохую производительность выдать в гигабитной сети.
но она довольно экзочтическая, ни разу не видел чтобы хоть кто-то её использовал кроме меня
VM
А какие глюки были с линстором? И какая фс была на дисках?
thinlvm + proxmox 5, диски ссд+хдд в дисковой полке, основная проблема - непредсказуемое поведение кластера при сбое и холодном запуске, проблема запуска контроллера, т.е. проблема не в производительности, а в предсказуемости готового решения - кластре проксмокс + линстор как кластреная фс. Иногда непредсказуемое поведение при сбое стораджа - при наличии на узле локальной копии использовался дисклесс режим. Это все на связке линстор + прокс 5. Сейчас смотрю на связку текущий линстор + прокс 6. Там много пофиксили, но в продакшн пока не решаюсь пускать.
AT
плюсую, а что без денег низя?
Можно, если есть желание обмазывать самостоятельно скриптами для подобия HA.
Ну и erasure coding нету в бесплатном варианте
Ну и erasure coding нету в бесплатном варианте
k
Vladimir Manko
ну все относительно =) на небольших конфигурациях 3-5 нод я разницы с цеф не увидел, линстор вышел чутка быстрее, но глюкавее, (все использовалось под сторадж в проксмокс кластере), а у вас 1 гигабит, а так то смотрите сами =)
DRBD тюнили?
M
Vladimir Manko
thinlvm + proxmox 5, диски ссд+хдд в дисковой полке, основная проблема - непредсказуемое поведение кластера при сбое и холодном запуске, проблема запуска контроллера, т.е. проблема не в производительности, а в предсказуемости готового решения - кластре проксмокс + линстор как кластреная фс. Иногда непредсказуемое поведение при сбое стораджа - при наличии на узле локальной копии использовался дисклесс режим. Это все на связке линстор + прокс 5. Сейчас смотрю на связку текущий линстор + прокс 6. Там много пофиксили, но в продакшн пока не решаюсь пускать.
Я думал перейти с цефа на линстор. Raid10 (4диска)zfs на нодах, сеть 10 гбит, 3 ноды. 128 гб рам на каждой
S
Можно, если есть желание обмазывать самостоятельно скриптами для подобия HA.
Ну и erasure coding нету в бесплатном варианте
Ну и erasure coding нету в бесплатном варианте
А не в курсе, PRO версия у них как квотируется?
AT
По общему занятому пространству
VM
Мне по сути надо гарантированное и надежное решение для малых гиперконвергентных кластеров виртуализации на 3-5 узлов с большим количеством шпинделей для всяких файлопомоек типа виндовых шар, и некстклоудов, и частью ссд с максимальной производительностью. Ceph оказался не очень. Гластер был интереснее. Линстор был почти шик, но схема с контроллером и холодным стартом постоянно ломалась.
M
Я думал перейти с цефа на линстор. Raid10 (4диска)zfs на нодах, сеть 10 гбит, 3 ноды. 128 гб рам на каждой
И вот вопрос возникает с контроллером
VM
DRBD тюнили?
нет, но точно не скажу, давно было
k
Можно, если есть желание обмазывать самостоятельно скриптами для подобия HA.
Ну и erasure coding нету в бесплатном варианте
Ну и erasure coding нету в бесплатном варианте
А, то есть HA там в платной версии только?
S
По общему занятому пространству
А по деньгами инфой не располагаете? Наверняка не дешевое решение.
M
Vladimir Manko
Мне по сути надо гарантированное и надежное решение для малых гиперконвергентных кластеров виртуализации на 3-5 узлов с большим количеством шпинделей для всяких файлопомоек типа виндовых шар, и некстклоудов, и частью ссд с максимальной производительностью. Ceph оказался не очень. Гластер был интереснее. Линстор был почти шик, но схема с контроллером и холодным стартом постоянно ломалась.
Согласен, линстор идеально подходит для маленьких кластеров, все упирается в надежность контроллера
VM
Я думал перейти с цефа на линстор. Raid10 (4диска)zfs на нодах, сеть 10 гбит, 3 ноды. 128 гб рам на каждой
вот сейчас как раз подобную схему думаю развернуть - zfs raid 10 + linstor + prox 6
k
Vladimir Manko
Мне по сути надо гарантированное и надежное решение для малых гиперконвергентных кластеров виртуализации на 3-5 узлов с большим количеством шпинделей для всяких файлопомоек типа виндовых шар, и некстклоудов, и частью ссд с максимальной производительностью. Ceph оказался не очень. Гластер был интереснее. Линстор был почти шик, но схема с контроллером и холодным стартом постоянно ломалась.
@oZZyTOP неплохо про гластер отзывался, но мне с ним тоже не повезло