DV
Мы все потестили и пришли к выводу, что ну его нафиг) версионирование без EC не работает, хотелось зеркало во 2м дц
Size: a a a
2021 February 06
VZ
ну чудес не бывает =)
DV
Как-то так, да. На 100мегабайтах в 10 объектах хорошо работает. А если запросить оглавление в бакете с 100к объектами на hdd, то оно не только в ls на файлухе потупит, а потом прочитает 100к файлов с метадатой, с hdd...
Пришлось убить мету, чтобы запустить приложение после холодного ребута)
Пришлось убить мету, чтобы запустить приложение после холодного ребута)
VZ
100k это мало Мы тут миллионами игрались =)
VZ
в итоге пришлось еще тюнить машину и ФС. В общем за простотой как всегда детали
DV
Нам хватило, чтобы передумать, это была временная машинка откуда надо было быстренько раздать данные по s3...
V0
Спасибо за комменты, еще забыл что стейт еще хранит редис и да, хоть у него и есть кластер, но меня в этой истории уже начинает смущать количество движущихся частей, т.е. уже набирается штуки 3 для ручного переключения, ну такое. А если это все уедет в кубер - на чем там сделать pvc?
Am
Спасибо за комменты, еще забыл что стейт еще хранит редис и да, хоть у него и есть кластер, но меня в этой истории уже начинает смущать количество движущихся частей, т.е. уже набирается штуки 3 для ручного переключения, ну такое. А если это все уедет в кубер - на чем там сделать pvc?
Конечно rook 😅
V0
Конечно rook 😅
а поверх какого провайдера? (не забывая про условие тупой сети)
Д
А что вообще с георепликацией кроме гластера есть?
V0
кстати, да возможно стоит пойти от обратного и смотреть что-то заточенное под разные континенты и дц, для этого такая сеть будет наоборот идеальной, так что присоединяюсь к вопросу
s
Но вообще в вашем юзкейсе не нужна никакая кластерная фс и это прекрасно😉
Дыг в 90% мест, где воткнули кластерную ФС, она не нужна на самом деле
V0
вот чем больше смотрю, тем больше ceph заманчиво - и s3 заменить сможет и для rook подойдет, а его можно сделать типа "stripe of async mirrors"?
т.е. поднять signle-node, на втором сделать RBD Mirroring. или rook так не работает? какие еще подводные?
т.е. поднять signle-node, на втором сделать RBD Mirroring. или rook так не работает? какие еще подводные?
A
Rook нинада
V0
Rook нинада
почему?
A
Цеф сам по себе кластерная система, еще поверх кластерной системы кубера. Вот сойдет с ума кубер, начнет поды перезапускать, сторадж развалится, это еще больше сведет с ума кубер
A
Гораздо сложнее такие вещи восстанавливать. Нет никаких проблем накатить тем же ансиблом на эти же ноды цеф и быть более спокойным.
PR
я вообще не представляю, как чинить rook, когда оно сломается. Сам по себе починить цеф - уже задача непростая, а уж весь этот сендвич...
A
ну вот и я о чем
A
а еще зависеть от container runtime кривого