Size: a a a

SDS и Кластерные FS

2020 September 18

ВН

Виталий На Заборе... in SDS и Кластерные FS
У цефа, считай, версионирование в разрезе PG, а тут в разрезе объектов
источник

LB

Let Eat Bee in SDS и Кластерные FS
Я с цефом слабо знаком :( как комит происходит? Клиент или координатор сходил во все осд записал новую версию блока, но там наверняка есть вычистка мусора,так что надо ещё раз пробежаться и подтвердить что блок записан везде,не удаляй, так как-то?
источник

ВН

Виталий На Заборе... in SDS и Кластерные FS
Let Eat Bee
Я с цефом слабо знаком :( как комит происходит? Клиент или координатор сходил во все осд записал новую версию блока, но там наверняка есть вычистка мусора,так что надо ещё раз пробежаться и подтвердить что блок записан везде,не удаляй, так как-то?
Клиент отправляет данные первичному осд, осд прокидывает вторичным
источник

ВН

Виталий На Заборе... in SDS и Кластерные FS
При репликации сразу пишется запись, которую не надо удалять (WRITE_STABLE) - т.к. если она пропишется хотя бы на один осд (через журнал), то она уже там и консистентная и её можно скопировать на другие
источник

ВН

Виталий На Заборе... in SDS и Кластерные FS
При EC/XOR сначала пишется "откатываемая" (нестабильная) запись, потом когда первичный понимает, что все закоммитили, отправляет отдельную команду фиксации ("stabilize")
источник

ВН

Виталий На Заборе... in SDS и Кластерные FS
(В цефе, к слову, при использовании EC так же - сначала пишется вторая версия объекта, потом когда понятно, что все записали - удаляется старая)
источник

LB

Let Eat Bee in SDS и Кластерные FS
Виталий На Заборе
При репликации сразу пишется запись, которую не надо удалять (WRITE_STABLE) - т.к. если она пропишется хотя бы на один осд (через журнал), то она уже там и консистентная и её можно скопировать на другие
При репликации ответ клиенту когда придет? После успешной записи всем или одному?

Вообще ждём статью на английском что б на хакерньюс в топ поднять :)
источник

ВН

Виталий На Заборе... in SDS и Кластерные FS
Let Eat Bee
При репликации ответ клиенту когда придет? После успешной записи всем или одному?

Вообще ждём статью на английском что б на хакерньюс в топ поднять :)
Прям в научном формате статью что ли?))
источник

ВН

Виталий На Заборе... in SDS и Кластерные FS
Let Eat Bee
При репликации ответ клиенту когда придет? После успешной записи всем или одному?

Вообще ждём статью на английском что б на хакерньюс в топ поднять :)
После успешной записи на все
источник

LB

Let Eat Bee in SDS и Кластерные FS
Виталий На Заборе
После успешной записи на все
Вот пока писали, праймари упал. Что станет с блоками уже записанными ?
источник

LB

Let Eat Bee in SDS и Кластерные FS
Виталий На Заборе
Прям в научном формате статью что ли?))
Нет. На английском Хабре с картинками :)
источник

ВН

Виталий На Заборе... in SDS и Кластерные FS
Let Eat Bee
Вот пока писали, праймари упал. Что станет с блоками уже записанными ?
Пойдёт процесс переосознания состояния PG, объекты, которые не успели прописаться везде, будут приведены в целостное состояние
источник

ВН

Виталий На Заборе... in SDS и Кластерные FS
Либо откачены, либо скопированы на остальные реплики
источник

ВН

Виталий На Заборе... in SDS и Кластерные FS
Ну т.е. сначала монитор поймёт, что умер первичный, перебросит первичный на другой, тот заново начнёт поднимать PG, сконнектится со всеми, получит с них списки объектов, посчитает состояния и решит что с ними делать
источник

LB

Let Eat Bee in SDS и Кластерные FS
Виталий На Заборе
Ну т.е. сначала монитор поймёт, что умер первичный, перебросит первичный на другой, тот заново начнёт поднимать PG, сконнектится со всеми, получит с них списки объектов, посчитает состояния и решит что с ними делать
А клиент в это время? Подождёт новый ОСД и повторит операцию?
источник

ВН

Виталий На Заборе... in SDS и Кластерные FS
Let Eat Bee
А клиент в это время? Подождёт новый ОСД и повторит операцию?
Ага
источник

LB

Let Eat Bee in SDS и Кластерные FS
Виталий На Заборе
Пойдёт процесс переосознания состояния PG, объекты, которые не успели прописаться везде, будут приведены в целостное состояние
Надо как-то фенсить упавший праймари. Он может до етсд не достучаться , но до остальных ОСД вполне и будет туда долбить в это небольшое окно гонки
источник

ВН

Виталий На Заборе... in SDS и Кластерные FS
Let Eat Bee
Надо как-то фенсить упавший праймари. Он может до етсд не достучаться , но до остальных ОСД вполне и будет туда долбить в это небольшое окно гонки
он lease берёт в etcd, если она протухает, он самоубивается
источник

LB

Let Eat Bee in SDS и Кластерные FS
Виталий На Заборе
он lease берёт в etcd, если она протухает, он самоубивается
Ну вот, может быть так что  лиз протухнет потому что до етцд достучаться не может, а до осд соседнего может . Пока он думает что лиз не протух , он ходит во все осд , потом понимает, что протух, но это может случиться после того , как монитор понял, что праймари протух
источник

ВН

Виталий На Заборе... in SDS и Кластерные FS
Let Eat Bee
Ну вот, может быть так что  лиз протухнет потому что до етцд достучаться не может, а до осд соседнего может . Пока он думает что лиз не протух , он ходит во все осд , потом понимает, что протух, но это может случиться после того , как монитор понял, что праймари протух
Так не получится - он его заранее рефрешить пытается
источник