IK
Мы используем messagepack, но это не про рандомный read/write
Size: a a a
2020 May 16
λ
Даже схема есть
M
Мы используем messagepack, но это не про рандомный read/write
Я еще хотел бы что бы там был иерхаческий хэш а-ля merkle tree. Хм, похоже придется свой делать
M
Хотя в protobuf тоже можно засунуть. В protobuf меня смущает то, что он монструозен и слишком излишен для столь однозначной задачи. Ну и random read / write
λ
MaxGraey
Я еще хотел бы что бы там был иерхаческий хэш а-ля merkle tree. Хм, похоже придется свой делать
Ну тебе слишком много надо. Если цель просто персисить, то можешь взять протобаф. А меркля уже получать по десериализованным данным
λ
А зачем тебе прям рандом рид враит? Большие файлы чтоль?
M
А зачем тебе прям рандом рид враит? Большие файлы чтоль?
Что бы поддерживать incremental builds
M
Хотя есть делать AST per-file то это и не обязательно, хм
Просто привычда думать о масшдабируемости наперед
Просто привычда думать о масшдабируемости наперед
λ
Ну я ещё такое знаю
λ
MaxGraey
Хотя есть делать AST per-file то это и не обязательно, хм
Просто привычда думать о масшдабируемости наперед
Просто привычда думать о масшдабируемости наперед
Ну да, тебе достаточно где-то отдельно хранить меркл три как индекс и все
M
Да тоже когда то натыкался, но я так и не разобрался как он работает
MO
Мы изучали вопрос, какой андерлайн формат использовать, и суть в том, что любой из них требует нетривиальной доработки. Поэтому лучше взять самый удобный (мы выбрали протобаф) и его уже дорабатывать/тюнить
λ
Согласен, это самый простой вариант
M
Мы изучали вопрос, какой андерлайн формат использовать, и суть в том, что любой из них требует нетривиальной доработки. Поэтому лучше взять самый удобный (мы выбрали протобаф) и его уже дорабатывать/тюнить
Видимо так для начала и сделаю. Всем спасибо!
KR
А вы смотрели на HDF4/5?
2020 May 17
M
А вы смотрели на HDF4/5?
Очень избыточен. HDF5 чуть ли не целая БД. Огромная кодовая база которая тянет SZIP со своей особой лицензией + не подходит собственно лицензия самой HDF5 - LBNL
KR
MaxGraey
Очень избыточен. HDF5 чуть ли не целая БД. Огромная кодовая база которая тянет SZIP со своей особой лицензией + не подходит собственно лицензия самой HDF5 - LBNL
Спасибо