Size: a a a

SDS и Кластерные FS

2020 December 14

UD

Uncel Duk in SDS и Кластерные FS
Чанки + мета
источник

UD

Uncel Duk in SDS и Кластерные FS
источник

UD

Uncel Duk in SDS и Кластерные FS
пример
источник

MM

Maksim Makhalov in SDS и Кластерные FS
Привет. Как можно построить s3?
источник

MM

Maksim Makhalov in SDS и Кластерные FS
Минио говорят не очень, или я ошибаюсь?
источник

k

kvaps in SDS и Кластерные FS
Maksim Makhalov
Минио говорят не очень, или я ошибаюсь?
Почему? Для небольших инсталяций очень даже
источник

MM

Maksim Makhalov in SDS и Кластерные FS
kvaps
Почему? Для небольших инсталяций очень даже
А если тб+?
источник

k

kvaps in SDS и Кластерные FS
Maksim Makhalov
А если тб+?
Ну это я считаю небольшие :)
источник

DL

Dmitriy Limonov in SDS и Кластерные FS
А 200тб это много для него?
источник

🍺N

🍺 Ilya Nicolaev in SDS и Кластерные FS
Maksim Makhalov
Минио говорят не очень, или я ошибаюсь?
А что там не очень?
источник

🍺N

🍺 Ilya Nicolaev in SDS и Кластерные FS
Вот GlusterFS реально "не очень". Сколько ее ни гонял - вообще ахтунг какой-то, тупит страшно.
источник

k

kvaps in SDS и Кластерные FS
Переслано от kvaps
тут был классный дискусс о том что не так с минио
https://t.me/sds_ru/16385
источник

MM

Maksim Makhalov in SDS и Кластерные FS
🍺 Ilya Nicolaev
А что там не очень?
Где то читал, что на маленьких файлах тупит
источник

🍺N

🍺 Ilya Nicolaev in SDS и Кластерные FS
Maksim Makhalov
Где то читал, что на маленьких файлах тупит
Ну у меня сейчас тестовая инсталляция, записано порядка 100 тыс объектов (как раз мелкие файлы), пока вроде полет нормальный, просадки замечено не было. Правда тестовая инсталляция сама по себе у меня сильно не очень (исправляю). Мне думается, что если писать очень много мелких файлов в "плоскую" структуру - проблемы будут, если в разветвленное дерево каталогов - то нет. Особенность хранения данных самим минио. Если в обычную ФС писать десятки тысяч объектов в один каталог - она тоже тупить начинает
источник

🍺N

🍺 Ilya Nicolaev in SDS и Кластерные FS
Что лично мне в минио очень понравилось - простота и дубовость
источник

k

kvaps in SDS и Кластерные FS
🍺 Ilya Nicolaev
Ну у меня сейчас тестовая инсталляция, записано порядка 100 тыс объектов (как раз мелкие файлы), пока вроде полет нормальный, просадки замечено не было. Правда тестовая инсталляция сама по себе у меня сильно не очень (исправляю). Мне думается, что если писать очень много мелких файлов в "плоскую" структуру - проблемы будут, если в разветвленное дерево каталогов - то нет. Особенность хранения данных самим минио. Если в обычную ФС писать десятки тысяч объектов в один каталог - она тоже тупить начинает
А какая фс на бэкенде?
источник

🍺N

🍺 Ilya Nicolaev in SDS и Кластерные FS
ext4. Пробовал рейзер, особой разницы не заметил, малые объемы. Буду делать другую инсталляцию - попробую еще и рейзер
источник

k

kvaps in SDS и Кластерные FS
🍺 Ilya Nicolaev
Ну у меня сейчас тестовая инсталляция, записано порядка 100 тыс объектов (как раз мелкие файлы), пока вроде полет нормальный, просадки замечено не было. Правда тестовая инсталляция сама по себе у меня сильно не очень (исправляю). Мне думается, что если писать очень много мелких файлов в "плоскую" структуру - проблемы будут, если в разветвленное дерево каталогов - то нет. Особенность хранения данных самим минио. Если в обычную ФС писать десятки тысяч объектов в один каталог - она тоже тупить начинает
И в каком режиме минио развёрнут?
источник

k

kvaps in SDS и Кластерные FS
🍺 Ilya Nicolaev
ext4. Пробовал рейзер, особой разницы не заметил, малые объемы. Буду делать другую инсталляцию - попробую еще и рейзер
Рейзер5? o__O
источник

🍺N

🍺 Ilya Nicolaev in SDS и Кластерные FS
Еще в минио очень удобно что можно bucket'ы очень удобно между кластерами двигать штатными средствами. Как минимум на этапе тестирования очень удобно
источник