ИК
Интересно, а есть сейчас формат хранения, умеющий дельта-кодирование из коробки или надо руками?
файловый?
Size: a a a
2021 February 20
ПФ
файловый?
Ага. Ну типа орк вот
NN
Интересно, а есть сейчас формат хранения, умеющий дельта-кодирование из коробки или надо руками?
Что это?
ПФ
Просто дельта-кодированная колонка для таймсерия сжатая вообще места занимать не будет
ИК
хорошо бы существующие форматы на это заточить, чтобы не мигрировать
ПФ
Что это?
Сейчас нарисую
ИК
и в паркете и в орке есть хранение с дельта-кодированием, помню, читал, и гуглится в первых строках
ИК
но вот добавление инкремента -
ИК
этого нет, и, походу, не ожидается (обновляемый orc пока не ковырял)
ИК
ORC uses type specific readers and writers that provide light weight compression techniques such as dictionary encoding, bit packing, delta encoding, and run length encoding
ИК
и если это бизнес-данные в таблице, то все колонки отсортированными не положить, как ни старайся, или очень много придётся делать вручную по каждому кейсу
ПФ
#infinitepainter
ПФ
Пунктиром - некая воображаемая точка старта, которую мы вычитаем из первого значения колонки
ПФ
И в монотонно возрастающих данных всё дельта кодирование - это сказать сколько раз у нас повторяется единица инкремента
ПФ
@ExcellentName примерно понятно?
ПФ
@KaiNie_R я правильно понимаю же?
ИК
И в монотонно возрастающих данных всё дельта кодирование - это сказать сколько раз у нас повторяется единица инкремента
это очень похоже на run length encoding
ПФ
это очень похоже на run length encoding
Первая мутация - дельта, вторая - run length мне казалось
NN
@ExcellentName примерно понятно?
Ага, пасиб
ПФ
Дельта может очень экономить место за счёт того, что может быть другой тип данных - например short вместо long