В те времена кучу софта на турбопаскале написано было

Перепись дидов

Не ной

Сам раскупорил.

трепещите:
Gigabyte представила похожий на видеокарту твердотельный накопитель объёмом 32 ТБ и со скоростью чтения 28 ГБ/с

Это уже больше, чем у оперативной памяти?

Сейчас таких программ нет. Всё, что есть требует ресурсов кратно больше.

Боюсь мало кто из секретарей станет работать в лексиконе :)

так это последовательно, но так-то да как ~ддр4

Интересно, а какая-нибудь кластерных FS считает проблемой bitrot метаданных и борется с ней ?
Пока у меня складывается впечатление, что хранить метаданные в чём-то вроде LevelDB считается ok

Я бы сказал, что Ceph, but alas, я не могу найти какого-либо упоминания об этом, только OSD

Ну т в целом цеф все хранит на осд, поэтому проверка консистентности данных на осд так же относится к вопросу

Ссд в Рэйд киданули - вот это достижение)

ceph надо будет поизучать, я думал там тоже rocksdb.

вообще я имел ввиду не хранение метаданных на диске блоки которого защищены контрольными суммами, а скорее что-то вроде git/immudb/blockchain, когда по commit-id можно проверить всю историю и быть уверенным, что активный мастер и реплика не разошлись из-за bitrot в каких-то старых метаданных (так что смена мастера не приведет к исчезновению/появлению файлов)

Там rocksdb, да. Но в нем же действительно есть чексуммы

Для того, чтобы проверить bitrot есть стандартное корректириующее избыточное кодирование, которое позволяет исправлять ошибки (до некого порога) и обнаруживать ошибки (если уже исправить не могут). Для того, чтобы ничего не "разъезжалось" делают версионирование, когда изменения фиксируются путем добавления +1 в счётчики на все компоненты/части кластера. Таким образом, если у нас версии не совпадают, то фиксируется ошибка и Используется последнее well-known значение. Никакой blockchain тут не нужен

например, текущая версия №100.
и на масетре и на реплике.
мы их сравнили, обе 100, всё ok?

но на реплике побился результат записи №42.

о, это гут
особенно если есть восстановление базы с другого сервера при обнаружении ошибки чексуммы

Если обнаружится ошибка в rocksdb - осд сдохнет, а снести и восстановить его надо будет руками

Ну или если например ничего не сделаешь, то данные через некоторое время сами поедут размазываться на другие доступные осд для сохранения уровня избыточности