🍺N
Не упущу возможности в очередной раз сказать, что минио - говно.
+
Самолично затестил и подтверждаю. Во всяком случае для кучи мелких файлов - точно говно.
Самолично затестил и подтверждаю. Во всяком случае для кучи мелких файлов - точно говно.
Size: a a a
2021 March 17
🍺N
Даже если структура не плоская, а древовидная
DK
🍺 Ilya Nicolaev
Даже если структура не плоская, а древовидная
Какой объем всего хранилища у вас был и сколько файлов в нем находилось?
AK
🍺 Ilya Nicolaev
seaweedfs гляньте
чуть почитал, получается обращение к файлу завязано на File Id и его надо сохранять где-то?
SM
чуть почитал, получается обращение к файлу завязано на File Id и его надо сохранять где-то?
Метадата хранится отдельно. Вариантов много, где можно хранить.
SM
Хоть в etcd, хоть в PostgreSQL, хоть в MySQL. Чего-то ещё там было.
DK
Используем немного измененный подход: данные в минио, ссылки на файлы в galera cluster, из самого минио не листим. Пока в хранилище всего 2 ТБ - устраивает и скорость доступа и получения файлов
🍺N
Какой объем всего хранилища у вас был и сколько файлов в нем находилось?
У меня в проде его пока нету, но буду пускать, как проект запущу. Лучше ничего не нашел. В тесте гонял лям файлов, проблем не было. Пытался ушатать - не вышло. Если нормально настроено - достаточно надежно. Оно очень дубовое и простое.
SM
Используем немного измененный подход: данные в минио, ссылки на файлы в galera cluster, из самого минио не листим. Пока в хранилище всего 2 ТБ - устраивает и скорость доступа и получения файлов
А чего толку, что вы не листаете? Минио самостоятельно факапится и превращается в тыкву без внешнего вмешательства.
🍺N
чуть почитал, получается обращение к файлу завязано на File Id и его надо сохранять где-то?
Это на низком уровне. Есть Filer - оно умеет и в S3 и в FUSE и еще куда-то. Метаданные хранить может в чем угодно.
DK
А чего толку, что вы не листаете? Минио самостоятельно факапится и превращается в тыкву без внешнего вмешательства.
Можете тесткейс подкинуть?
DT
Ну вообще с сотней тысяч мелких файлов (6мб) по одному пути минио болело но в целом работало.
SM
Можете тесткейс подкинуть?
В одну директорию залей 8млн файлов, например. И жди.
Для пущего эффекта снеси с одной ноды данные и посмотри, как оно восстанавливаться будет.
Для пущего эффекта снеси с одной ноды данные и посмотри, как оно восстанавливаться будет.
🍺N
Ну вообще с сотней тысяч мелких файлов (6мб) по одному пути минио болело но в целом работало.
IOWAIT оно дичайший делает даже на чтении.
DT
Ну 8 лямов я бы точно не рискнул
SM
В одну директорию залей 8млн файлов, например. И жди.
Для пущего эффекта снеси с одной ноды данные и посмотри, как оно восстанавливаться будет.
Для пущего эффекта снеси с одной ноды данные и посмотри, как оно восстанавливаться будет.
Спойлер. В таком случае это говно даже не восстанавливалось, хотя говорило, что всё ок.
SM
Ну 8 лямов я бы точно не рискнул
Это вот ты не рискнул. А представь, что кто-то пришёл и рискнул.
SM
А тыкву получил ты
DT
Спойлер. В таком случае это говно даже не восстанавливалось, хотя говорило, что всё ок.
Ну я сталкивался с тем, что минио клинило при удалении высокозагруженных директорий.
🍺N
В одну директорию залей 8млн файлов, например. И жди.
Для пущего эффекта снеси с одной ноды данные и посмотри, как оно восстанавливаться будет.
Для пущего эффекта снеси с одной ноды данные и посмотри, как оно восстанавливаться будет.
Ну 8 млн файлов в одной директории ни одна ФС не выдержит. А минио - 1 объект = нескольким файлам и директориям в ФС.