А🐎
Ну.. не все же там дураки
Size: a a a
2021 March 06
D
Когда в начале прошлого года меня одни знакомые попросили посоветовать как готовить сеф кластер под мелкий key-value на примерно 5 петабайт, я посоветовал не выеживаться и сделать несколько кластеров и натянуть над ними софтовую балансировку. Как раз потому что мантейнить мегакластер крайне неудобно.
+100 :)
D
А под cephfs ситуация с удалением снапшотов становится критической ещё быстрее, с увеличением размера кластера и количества объектов.
После превышения двух миллиардов объектов (читай файлов), наблюдался очень сильный троттлинг даже при удалении директорий на клиентах. Удаление снапшота одного из 10 subtree длилось 4-5 часов, удаление больших папок на клиенте 20-30 минут и т.д.
В итоге миграция на рбд и nfs самоделка на pacemaker контейнеры :)
После превышения двух миллиардов объектов (читай файлов), наблюдался очень сильный троттлинг даже при удалении директорий на клиентах. Удаление снапшота одного из 10 subtree длилось 4-5 часов, удаление больших папок на клиенте 20-30 минут и т.д.
В итоге миграция на рбд и nfs самоделка на pacemaker контейнеры :)
D
Сейчас все кластеры с 4к разбиваем на несколько меньших. А то что под виртуалками с 1М удаляет снэпшоты не напрягаясь, даже при 1пб raw
А🐎
ой нафиг ваши длино посты
А🐎
Больше 5 слов лень читать
А🐎
В выходной
AK
Больше 5 слов лень читать
Да в общем то никто не сомневался, что ты только комикс осилишь
n🐈
а можно сделать в цепхе кластер нетворк не в одной подсети?
А🐎
а можно сделать в цепхе кластер нетворк не в одной подсети?
Эм?
n🐈
ну допустим у меня нет л2 связности между осд
А🐎
В доке какие ты иподсети чеез запятую были
А🐎
Но не помню какие
n🐈
You may specify comma-separated subnets.
А🐎
Толи кластер толи паблик
n🐈
выходит я в обоих выходит
А🐎
Можно через запятую