Size: a a a

SDS и Кластерные FS

2020 December 14

🍺N

🍺 Ilya Nicolaev in SDS и Кластерные FS
minio привлекает простотой, минимализмом и надежностью. Ушатать его в тестовой инсталляции у меня не удалось. Точнее удалось - выпиливанием 3х дисков из 4х, но это нормально
источник

🍺N

🍺 Ilya Nicolaev in SDS и Кластерные FS
kvaps
Так минио не предоставляет POSIX, только S3
Меня это устраивает, POSIX мне не нужен
источник

🍺N

🍺 Ilya Nicolaev in SDS и Кластерные FS
Хотя через FUSE можно его примонтировать
источник

k

kvaps in SDS и Кластерные FS
🍺 Ilya Nicolaev
Хотя через FUSE можно его примонтировать
Не стоит
источник

k

kvaps in SDS и Кластерные FS
)
источник

VM

Vladimir Manko in SDS и Кластерные FS
Сергей
Коллеги, подскажите нубу, плз - есть группа серверов с DAS из SSD, на этих серверах планируют растянуть GlusterFS. Есть ли смысл вообще в использовании аппаратного RAID в серверах или достаточно HBA и создания бриксов отдельно на каждом накопителе?
Все зависит от задачи. Если надо отказоустойчивость на уровне нод (т.е. мертвая нода не проблема) - то можно бриксы раскидать, если надо еще и внутри ноды (на случай выхода диска/ов, если работа с нодой по каким-то причинам после сбоя будет невозможна, а надо что бы работала кровь из носу) , то можно через рейд. Но тогда рейд надо аппаратный. Я бы в такой схеме софтовый не использовал (разве что 10-й).
источник

AT

Alex Tkachuk in SDS и Кластерные FS
Openio?
источник

k

kvaps in SDS и Кластерные FS
🍺 Ilya Nicolaev
minio привлекает простотой, минимализмом и надежностью. Ушатать его в тестовой инсталляции у меня не удалось. Точнее удалось - выпиливанием 3х дисков из 4х, но это нормально
Соглашусь, я бы наверное тоже выбрал его
источник

k

kvaps in SDS и Кластерные FS
🍺 Ilya Nicolaev
Ну не совсем так. В кластер можно добавлять новые группы, я это тестировал и оно работает. А какие еще варианты есть? Кто что использует?
Только в этом случае помимо minio вам понадобится ещё etcd и coredns
источник

k

kvaps in SDS и Кластерные FS
kvaps
Только в этом случае помимо minio вам понадобится ещё etcd и coredns
Кастую @krakazyabra, не так ли?
источник

c

cloud_tg_captcha_bot in SDS и Кластерные FS
User passed the validation.
источник

k

krakazyabra in SDS и Кластерные FS
🍺 Ilya Nicolaev
Коллеги, есть задача сделать распределенное хранилище для миллиона мелких объектов (изображения). Серверов - от 4 до 10. Насколько целесообразно использовать для этого minio? Как он себя поведет?
Привет. нормально себя поведёт. минио переваривает как мелкие объекты, так и крупные. на крупных скорость, логично, выше. но по сравнению с другими хранилками, которые не сыкотно в прод выставить, на мелких объектах достойная скорость (попытаюсь тесты найти).

по количеству серверов - it depends. хочешь - сингл-нод, хочешь кластер, хочешь федерацию из синглов или кластеров. для федерации как раз и нужен etcd и coredns. кластер работает без них прекрасно.

но до сих пор не ясно с масштабированием (увеличение количества дисковых устройств на ноде, увеличение количества нод в кластере). разрабы предлагают масштабировать через федерацию только. но может уже что-то поменялось, я перестал за апдейтами следить.
источник

🍺N

🍺 Ilya Nicolaev in SDS и Кластерные FS
krakazyabra
Привет. нормально себя поведёт. минио переваривает как мелкие объекты, так и крупные. на крупных скорость, логично, выше. но по сравнению с другими хранилками, которые не сыкотно в прод выставить, на мелких объектах достойная скорость (попытаюсь тесты найти).

по количеству серверов - it depends. хочешь - сингл-нод, хочешь кластер, хочешь федерацию из синглов или кластеров. для федерации как раз и нужен etcd и coredns. кластер работает без них прекрасно.

но до сих пор не ясно с масштабированием (увеличение количества дисковых устройств на ноде, увеличение количества нод в кластере). разрабы предлагают масштабировать через федерацию только. но может уже что-то поменялось, я перестал за апдейтами следить.
Спасибо.
Вот тут про масштабирование, в самом конце: https://docs.min.io/docs/distributed-minio-quickstart-guide.html
источник

🍺N

🍺 Ilya Nicolaev in SDS и Кластерные FS
Тестил, работает
источник

k

krakazyabra in SDS и Кластерные FS
🍺 Ilya Nicolaev
Тестил, работает
by specifying new set of clusters
источник

k

krakazyabra in SDS и Кластерные FS
то есть масштабирование путём увеличения кластеров
источник

p

pragus in SDS и Кластерные FS
Сергей
Коллеги, подскажите нубу, плз - есть группа серверов с DAS из SSD, на этих серверах планируют растянуть GlusterFS. Есть ли смысл вообще в использовании аппаратного RAID в серверах или достаточно HBA и создания бриксов отдельно на каждом накопителе?
А почему glusterfs и что вы на ней хотите хранить?
источник

p

pragus in SDS и Кластерные FS
Сергей
Коллеги, подскажите нубу, плз - есть группа серверов с DAS из SSD, на этих серверах планируют растянуть GlusterFS. Есть ли смысл вообще в использовании аппаратного RAID в серверах или достаточно HBA и создания бриксов отдельно на каждом накопителе?
А ещё советую взять в руки калькулятор и посчитать полосы: суммарную от всех ssd и по линкам, которыми будет подключаться ваша DAS.
источник

p

pragus in SDS и Кластерные FS
krakazyabra
Привет. нормально себя поведёт. минио переваривает как мелкие объекты, так и крупные. на крупных скорость, логично, выше. но по сравнению с другими хранилками, которые не сыкотно в прод выставить, на мелких объектах достойная скорость (попытаюсь тесты найти).

по количеству серверов - it depends. хочешь - сингл-нод, хочешь кластер, хочешь федерацию из синглов или кластеров. для федерации как раз и нужен etcd и coredns. кластер работает без них прекрасно.

но до сих пор не ясно с масштабированием (увеличение количества дисковых устройств на ноде, увеличение количества нод в кластере). разрабы предлагают масштабировать через федерацию только. но может уже что-то поменялось, я перестал за апдейтами следить.
А аплоад 1 млн объектов приводит к возникновению 1млн файлов?
источник

UD

Uncel Duk in SDS и Кластерные FS
pragus
А аплоад 1 млн объектов приводит к возникновению 1млн файлов?
Больше
источник