Size: a a a

SDS и Кластерные FS

2020 August 27

ВН

Виталий На Заборе... in SDS и Кластерные FS
клиент идёт напрямую к ней
источник

k

kvaps in SDS и Кластерные FS
Виталий На Заборе
Ну а оставшуюся-то реплику кто переналивает
Там по моему ребаланс можно запустить
источник

ВН

Виталий На Заборе... in SDS и Кластерные FS
kvaps
Там по моему ребаланс можно запустить
Ну да, наверное теоретически может мастер переназначить целиком на волюм ещё одну реплику и в теории может начаться ребаланс
источник

ВН

Виталий На Заборе... in SDS и Кластерные FS
В таком случае VOLUME в SeaweedFS == PG в Ceph
источник

LB

Let Eat Bee in SDS и Кластерные FS
Виталий На Заборе
Ну а оставшуюся-то реплику кто переналивает
а, как лечить? мастер сервер собирает со всех нод информацию о вольюмах, если где-то вольюм говорит что должно быть 3 реплики, а зарепортили 2 сервера, то мастер назначает еще одну реплику и просит  ноду с вольюмом залить его на новую реплик
источник

ВН

Виталий На Заборе... in SDS и Кластерные FS
Let Eat Bee
а, как лечить? мастер сервер собирает со всех нод информацию о вольюмах, если где-то вольюм говорит что должно быть 3 реплики, а зарепортили 2 сервера, то мастер назначает еще одну реплику и просит  ноду с вольюмом залить его на новую реплик
Ну понятно, значит volume = PG
источник

S

Sergey in SDS и Кластерные FS
шо у вас тут с водорослей, а то читать весь опус харит
источник

ВН

Виталий На Заборе... in SDS и Кластерные FS
Sergey
шо у вас тут с водорослей, а то читать весь опус харит
Ну мы выяснили, что volume seaweedfs = PG ceph
источник

S

Sergey in SDS и Кластерные FS
Виталий На Заборе
Ну мы выяснили, что volume seaweedfs = PG ceph
и ради этого весь этот срач?
источник

A

Alex in SDS и Кластерные FS
Sergey
и ради этого весь этот срач?
пушто других интересных нет?
источник

S

Sergey in SDS и Кластерные FS
Alex
пушто других интересных нет?
чего нет, вон вчера про киевских девпотцов на 7500$ была тема
источник

LB

Let Eat Bee in SDS и Кластерные FS
Виталий На Заборе
Да на самом деле так... не очень сильно упрощается. В цефе том же считай тоже - из хеша объекта получается PG (считай PG==волюм)
> One PG maps to a single list of OSDs, where the first one in the list is the primary and the rest are replicas.

Где этот мапинг хранится?
источник

ВН

Виталий На Заборе... in SDS и Кластерные FS
Let Eat Bee
> One PG maps to a single list of OSDs, where the first one in the list is the primary and the rest are replicas.

Где этот мапинг хранится?
он по дефолту нигде не хранится, а на основе консистентного хеша генерируется
источник

ВН

Виталий На Заборе... in SDS и Кластерные FS
Let Eat Bee
> One PG maps to a single list of OSDs, where the first one in the list is the primary and the rest are replicas.

Где этот мапинг хранится?
но при желании можно прибить PG к конкретным осд через Upmap. тогда как бы "хранится" в апмапе
источник

ВН

Виталий На Заборе... in SDS и Кластерные FS
upmap-ы хранятся в osdmap
источник

ВН

Виталий На Заборе... in SDS и Кластерные FS
crushmap тоже хранится в osdmap
источник

ВН

Виталий На Заборе... in SDS и Кластерные FS
osdmap хранится в мониторах
источник

ВН

Виталий На Заборе... in SDS и Кластерные FS
(считай, мастерах)
источник

ВН

Виталий На Заборе... in SDS и Кластерные FS
ну то есть в принципе похоже, разница только в том, что нет консистентных хешей в водорослях и PG может быть любое количество (рекомендуется около 100 на осд), а не по размеру (32 гб)
источник

LB

Let Eat Bee in SDS и Кластерные FS
Виталий На Заборе
он по дефолту нигде не хранится, а на основе консистентного хеша генерируется
воот, значит при добавлении ноды в кластер оно начинает всё переезжать, так? в сивид не так. "первоисточник" это инфа на каждой ноде, она репортится в мастер и мастер может попросить ноды перекинуть вольюмы между собой для баланса, но это оптимизация, а не требование архитектуры
источник