Size: a a a

SDS и Кластерные FS

2021 July 05

N

Nikolay Kulikov in SDS и Кластерные FS
Поэтому делается сквозная проверка чексум для распределенные систем (в монолитах там проще). Они генерируются на входе (на клиенте или максимально близко к нему) и проверяются до самой записи. Т.е. Узел хранения перед тем как записать блок проверяет чексумму и только потом пишет. Так засчищаются от корапта блоков по пути от клиента до узла хранения. И да, сами нормальные (поэтому список совместимости) устройства хранения в виде HBA и SSD/HDD имеют свои собственные технологии проверки целостности защищающие от корапта уровнем ниже.
источник

ВН

Виталий На Заборе... in SDS и Кластерные FS
Вот есть простая ситуация: у тебя LUN, лежащий на трёх серверах. ПЕРЕзаписывается 1 мб данных
источник

ВН

Виталий На Заборе... in SDS и Кластерные FS
512 кб поменялось - старые данные ПЕРЕзаписались
источник

ВН

Виталий На Заборе... in SDS и Кластерные FS
512 кб не успело
источник

ВН

Виталий На Заборе... in SDS и Кластерные FS
Что делать? 😊
источник

ВН

Виталий На Заборе... in SDS и Кластерные FS
Старой версии тех 512 кб, что перезаписались, уже нет
источник

V

Volth in SDS и Кластерные FS
да
осталось только найти такие системы :)
(одну почти нашёл: HDFS если NameNode на Apache BookKeeper, но на 100% не уверен)
источник

A

Alex in SDS и Кластерные FS
Проблема фс
источник

ВН

Виталий На Заборе... in SDS и Кластерные FS
Ну да, то есть ничего не делать 😊
источник

ВН

Виталий На Заборе... in SDS и Кластерные FS
А если на одной реплике поменялись, а на другой нет
источник

A

Alex in SDS и Кластерные FS
Тогда понятен алгорифм
источник

ВН

Виталий На Заборе... in SDS и Кластерные FS
Ну вот я почему-то подозреваю, что как минимум какие-то из ынтырпрайз схд именно так и поступают
источник

A

Alex in SDS и Кластерные FS
Забивают куй?
источник

ВН

Виталий На Заборе... in SDS и Кластерные FS
Ага
источник

GM

George Melikov in SDS и Кластерные FS
у меня для вас плохие новости
источник

A

Alex in SDS и Кластерные FS
Это разумно
источник

ВН

Виталий На Заборе... in SDS и Кластерные FS
Да ниочинь
источник

A

Alex in SDS и Кластерные FS
Для этого фс с журналом есть
источник

GM

George Melikov in SDS и Кластерные FS
а журналируют обычно только мету
источник

ВН

Виталий На Заборе... in SDS и Кластерные FS
Ну для реплик это ещё куда ни шло, а для raid5 совсем нельзя 😊
источник