Size: a a a

Ceph — русскоговорящее сообщество

2021 February 17

Am

Alexander mamahtehok in Ceph — русскоговорящее сообщество
k0ste
Ну такая и статистика
хотя да, судя даже по версиям основноые данные там это тупо дев стенды )
источник

RB

Ruslan Baimukhametov in Ceph — русскоговорящее сообщество
посоны, ээм, я чет туплю.
в 3 репликах на дефолтной крашмапе с фейлюр-домен=хост и min_size=2
я ж могу потерять либо 1 сервер либо 1 диск на сервере вообще легко, или 2 сервера через HEALTH_ERR на некоторое время, пока перебалансируется цеф или 2 диска на разных серверах, но как повезет, если эти 2 диска не состоят вдруг в одной PG, то все ок, а если вдруг состоят, то  через HEALTH_ERR на некоторое время, пока перебалансируется цеф?

а в EC пулах то же самое выходит, но даже лучше:
при k=4 или 3 и m=2 могу 2 сервера потерять или 2 любых диска и ниче мне не будет, просто проц будет молотить, восстанавливая целостность данных, да?

что-то выходит что EC не только меньше оверхеда по пространству дает, но и он лучше при выходе из строя дисков\серверов

или я все-таки туплю где-то?

и ето, серверов планируется > 10 в случае RF=3 и >=k+m в случае ECпула
источник

k

k0ste in Ceph — русскоговорящее сообщество
Alexander mamahtehok
хотя да, судя даже по версиям основноые данные там это тупо дев стенды )
Вот я это и имел ввиду
источник

k

k0ste in Ceph — русскоговорящее сообщество
Ruslan Baimukhametov
посоны, ээм, я чет туплю.
в 3 репликах на дефолтной крашмапе с фейлюр-домен=хост и min_size=2
я ж могу потерять либо 1 сервер либо 1 диск на сервере вообще легко, или 2 сервера через HEALTH_ERR на некоторое время, пока перебалансируется цеф или 2 диска на разных серверах, но как повезет, если эти 2 диска не состоят вдруг в одной PG, то все ок, а если вдруг состоят, то  через HEALTH_ERR на некоторое время, пока перебалансируется цеф?

а в EC пулах то же самое выходит, но даже лучше:
при k=4 или 3 и m=2 могу 2 сервера потерять или 2 любых диска и ниче мне не будет, просто проц будет молотить, восстанавливая целостность данных, да?

что-то выходит что EC не только меньше оверхеда по пространству дает, но и он лучше при выходе из строя дисков\серверов

или я все-таки туплю где-то?

и ето, серверов планируется > 10 в случае RF=3 и >=k+m в случае ECпула
Да, ec во всём круче
источник

VO

Vyacheslav Olkhovche... in Ceph — русскоговорящее сообщество
кроме ресурсов и быстродействия, да?
источник

RB

Ruslan Baimukhametov in Ceph — русскоговорящее сообщество
Vyacheslav Olkhovchenkov
кроме ресурсов и быстродействия, да?
Вот да, какбе на шпинделях сэкономлю, а на проце эту экономию и отдам обратно
источник

VO

Vyacheslav Olkhovche... in Ceph — русскоговорящее сообщество
ну так еще и трафика меньше снять получится
источник

RB

Ruslan Baimukhametov in Ceph — русскоговорящее сообщество
Пгодити, в ец не могу потерять 2 сервера же, если у меня количество серверов=к+м. Кластер на запись встанет же?
источник

RB

Ruslan Baimukhametov in Ceph — русскоговорящее сообщество
Верно думаю или нет?
источник

AG

Andrey Groshev in Ceph — русскоговорящее сообщество
Ruslan Baimukhametov
посоны, ээм, я чет туплю.
в 3 репликах на дефолтной крашмапе с фейлюр-домен=хост и min_size=2
я ж могу потерять либо 1 сервер либо 1 диск на сервере вообще легко, или 2 сервера через HEALTH_ERR на некоторое время, пока перебалансируется цеф или 2 диска на разных серверах, но как повезет, если эти 2 диска не состоят вдруг в одной PG, то все ок, а если вдруг состоят, то  через HEALTH_ERR на некоторое время, пока перебалансируется цеф?

а в EC пулах то же самое выходит, но даже лучше:
при k=4 или 3 и m=2 могу 2 сервера потерять или 2 любых диска и ниче мне не будет, просто проц будет молотить, восстанавливая целостность данных, да?

что-то выходит что EC не только меньше оверхеда по пространству дает, но и он лучше при выходе из строя дисков\серверов

или я все-таки туплю где-то?

и ето, серверов планируется > 10 в случае RF=3 и >=k+m в случае ECпула
В EC надо больше нод для спокойной жизни. Если у тебя нод всего K+M, то потерять ты можешь только M нод (Если K>M). Если M всего 2, то безболезненно можно потерять только 1 ноду. Т.к. запись min_Size  K+1 вылет любого 1 диска приведет к невозможности записи в часть PG. Появятся slow_op и всё встанер раком.
источник

AG

Andrey Groshev in Ceph — русскоговорящее сообщество
А с репликой всё проще, если данные умещаются они будут перебалансится пока не останется три ноды.
источник

AG

Andrey Groshev in Ceph — русскоговорящее сообщество
В EC надо писать большими кусками тначе много уйдет на метаинформацию
источник

ВН

Виталий На Заборе... in Ceph — русскоговорящее сообщество
Ruslan Baimukhametov
Пгодити, в ец не могу потерять 2 сервера же, если у меня количество серверов=к+м. Кластер на запись встанет же?
Я не догнал мысль, но если EC K+M то можешь потерять M (если стоит min_size=K; по дефолту цеф ставит K+1). А ещё EC при случайном доступе тормознее раза так в 3, при линейном в принципе нормально. И ещё если S3 то с EC объект режется на части, части получаются тоже более мелкие, и скажем если у тебя средний объект 512 КБ, то в EC 4+2 это уже 128 КБ - что больнее на хардах
источник

AG

Andrey Groshev in Ceph — русскоговорящее сообщество
И если сильно большой сделать M, то сильно юзается проц. Соответвенно если нагрузка не ровная в мом ент пика повалятся тайауты.
источник

AG

Andrey Groshev in Ceph — русскоговорящее сообщество
EC это для сильно холодного хранилища )
источник

ВН

Виталий На Заборе... in Ceph — русскоговорящее сообщество
В общем типичный time memory tradeoff
источник

RB

Ruslan Baimukhametov in Ceph — русскоговорящее сообщество
Уууууу, спасибо ребят, уяснил
источник

RB

Ruslan Baimukhametov in Ceph — русскоговорящее сообщество
А что скажете про ец + кэш тиринг? Задача отдавать в CDN видосы через nginx, но один раз на видос. Тут кажется тиринг вообще не к месту, но все же вопрос актуален.
источник

RB

Ruslan Baimukhametov in Ceph — русскоговорящее сообщество
Ruslan Baimukhametov
А что скажете про ец + кэш тиринг? Задача отдавать в CDN видосы через nginx, но один раз на видос. Тут кажется тиринг вообще не к месту, но все же вопрос актуален.
А хот пул на репликах и вероятно даже на ссд
источник

RB

Ruslan Baimukhametov in Ceph — русскоговорящее сообщество
Ну как вариант рассматриваю
источник