n
Жестко лимит можно задать, чтобы OOM не случался ? Виртуалки-то используют hugepages, выделленные в коммнд лайне ядра и L2ARC указан лимит. И это остается рандомным местом, которое может разбухнуть и сделать что-то плохое на хосте.
Size: a a a
2020 June 21
n
есть какой-нибудь набор torture tests для Ceph или набор инструкций по проверке инсталляций, особенно на мелких кластерах, особенно на тех же хостах, где запускаются виртуалки, т.е. проц максимально загружен и свободной оперативной памяти почти нет ?
n
извините за нубский вопрос
ВН
Цефу нельзя жестко ограничить потребление. Ну я говорю, если очень хочется его сдуть, можно попытаться osd rocksdb options покрутить, т.к иначе одни мемтейблы едят гиг
ВН
так и получается, 5 OSD, заняли 10гб, osd_memory_target не применимо в этом случае? Мне смутно помнится, что в 12.хх на pve 5 оно столько не жрало
Если в 12 тоже был блюстор, то, вероятно, жрало
n
да, тоже был блюстор
AP
proxmox не умеет образа создавать с —data-pool —metadata-pool
так и не надо. просто создай cephfs, и создай подкаталог, у которого пропиши в расширенных атрибутах, что данные надо хранить вот тут в этом ec-пуле. метаданные все равно придется реплицировать в трех копиях. Потом смонтируй и используй в proxmox как папку для бекапов.
n
не тот эффект. Я хочу иметь готовые образы со всеми снэпшотами, которые буду делать, скажем раз в минуту и потом прореживать
AP
корневой каталог cephfs в любом случае должен быть не на ec-пуле
n
rbd export-diff/import-diff вот это все
AS
есть какой-нибудь набор torture tests для Ceph или набор инструкций по проверке инсталляций, особенно на мелких кластерах, особенно на тех же хостах, где запускаются виртуалки, т.е. проц максимально загружен и свободной оперативной памяти почти нет ?
Статья Производительность ceph
ВН
Ну похожа на правду гипотеза с EC и сжатием :-) хотя проверял я через жопу: ребалансом. Наверно правильнее было бы обжектсторы помонтировать и размеры пг просто снять %)
e
@vitalif то есть у тебя настолько сжимаемые данные?
ВН
N
Кстати, я правильно понимаю, что Ceph в аналогичной ситуации умер бы целиком? Не "менее 1%", а "все 100%".
VO
Это теорвер напрягать надо
DP
Nikita
Кстати, я правильно понимаю, что Ceph в аналогичной ситуации умер бы целиком? Не "менее 1%", а "все 100%".
с определенным процентом вероятности - потеря 1% данных (безвозвратная) в пуле с рбд превратит оставшиеся 99% данных в бессмысленную тыкву
Е
с определенным процентом вероятности - потеря 1% данных (безвозвратная) в пуле с рбд превратит оставшиеся 99% данных в бессмысленную тыкву
Любая полная потеря PG с RBD превратит все имаджи из этой PG в решето с дыоами из нулей.
VO
вообще-то там написанно несколько другое, о том что прилегло одновременно 4 сервера из более чем 400
DP
Любая полная потеря PG с RBD превратит все имаджи из этой PG в решето с дыоами из нулей.
не вижу противоречей в наших тезисах, если честно