Size: a a a

SDS и Кластерные FS

2021 March 17

SM

Stanislav Motriy in SDS и Кластерные FS
🍺 Ilya Nicolaev
Ну 8 млн файлов в одной директории ни одна ФС не выдержит. А минио - 1 объект = нескольким файлам и директориям в ФС.
В том-то и дело, что s3 - это API. Кого должно ебать что там за этим API и что минио всё кладёт в одну директорию?
источник

🍺N

🍺 Ilya Nicolaev in SDS и Кластерные FS
Но что самое гадкое - даже на правильной, иерархической структуре хранилища оно нормально не работает.
источник

DT

Dmitry Titov in SDS и Кластерные FS
🍺 Ilya Nicolaev
Но что самое гадкое - даже на правильной, иерархической структуре хранилища оно нормально не работает.
Ну раскидать директорию по бакетам(не s3 бакеты) на разные сервера чому бы и нет
источник

SM

Stanislav Motriy in SDS и Кластерные FS
Dmitry Titov
Ну раскидать директорию по бакетам(не s3 бакеты) на разные сервера чому бы и нет
А зачем, если есть нормальные варианты?
источник

SM

Stanislav Motriy in SDS и Кластерные FS
Зачем подстраиваться под это говно?
источник

DT

Dmitry Titov in SDS и Кластерные FS
Stanislav Motriy
А зачем, если есть нормальные варианты?
Ну в смысле, как это можно сделать внутри что бы не было горячих мест
источник

🍺N

🍺 Ilya Nicolaev in SDS и Кластерные FS
Работает на небольшом количестве ольших файлов, достаточно нормально. Тоже тестил. А для миллионов мелких файлов - не, не подходит. Seaweedfs оперирует вольюмами. Для хранения мелких файлов это подходит гораздо лучше.
источник

SM

Stanislav Motriy in SDS и Кластерные FS
Dmitry Titov
Ну в смысле, как это можно сделать внутри что бы не было горячих мест
Я понимаю. Может быть оно и будет работать, если ты заточишь приложение так, чтобы минио не обасрался. И минио используется только для этого приложения.

А что, если ты этот s3 даёшь ещё кому-то? Какой-то нибудь Васян пойдёт, и насрёт в минио.
источник

DT

Dmitry Titov in SDS и Кластерные FS
Stanislav Motriy
Я понимаю. Может быть оно и будет работать, если ты заточишь приложение так, чтобы минио не обасрался. И минио используется только для этого приложения.

А что, если ты этот s3 даёшь ещё кому-то? Какой-то нибудь Васян пойдёт, и насрёт в минио.
Опять повторяю, речь про то как то же минио могло сделать это дело внутри.
источник

DT

Dmitry Titov in SDS и Кластерные FS
Я не говорю про костыли снаружи
источник

SM

Stanislav Motriy in SDS и Кластерные FS
Dmitry Titov
Опять повторяю, речь про то как то же минио могло сделать это дело внутри.
А, ну это да. Если посмотреть, как они реагируют на предложения по решению проблем, то они просто их закрывают и всё.
источник

SM

Stanislav Motriy in SDS и Кластерные FS
Им, хипстерам, виднее
источник

DT

Dmitry Titov in SDS и Кластерные FS
Из неприятного у минио есть еще то, что после рестарта оно очень долго и мучительно будет восстанавливать статистику?(скольк объектов и сколько занимают они)
источник

X

Xaos13 in SDS и Кластерные FS
Запускал тестовый стенд с минио. 5Тб файлов по 5-10 мб. Старт сервиса происходил около часа.
источник

🍺N

🍺 Ilya Nicolaev in SDS и Кластерные FS
Xaos13
Запускал тестовый стенд с минио. 5Тб файлов по 5-10 мб. Старт сервиса происходил около часа.
Оно что, всю метадату читает при старте, и еще и в память грузит?
источник

VT

Vitaly Tyuta in SDS и Кластерные FS
Пока не замечал такого, ~6 Тб тестовых данных. старт кластера minio в течении 1-2 минут
источник

DT

Dmitry Titov in SDS и Кластерные FS
🍺 Ilya Nicolaev
Оно что, всю метадату читает при старте, и еще и в память грузит?
С моей точки зрения кстати наоборот вышло.
источник

🍺N

🍺 Ilya Nicolaev in SDS и Кластерные FS
Dmitry Titov
С моей точки зрения кстати наоборот вышло.
Это как?
источник

DT

Dmitry Titov in SDS и Кластерные FS
🍺 Ilya Nicolaev
Это как?
После рестарта он в status показывал только часть объектов которые должны быть в нем.
источник

SM

Stanislav Motriy in SDS и Кластерные FS
Vitaly Tyuta
Пока не замечал такого, ~6 Тб тестовых данных. старт кластера minio в течении 1-2 минут
А инсценировать потерю ноды пробовали?
источник