TT
Anonymous
Ребят, хочу учится чему-то новому. Подкиньте курсы по ИБ
А какая сфера конкретно тебя интересует? ИБ довольно обширная область
Size: a a a
2021 April 01
s
Anonymous
Ребят, хочу учится чему-то новому. Подкиньте курсы по ИБ
Сначала русскому языку бы
ИН
какого коэф. сжатия сырых данных *.xml можно добиться в целях реализации архивного хранения данных?
ИН
или направьте почитать...
m
Илья Небо
какого коэф. сжатия сырых данных *.xml можно добиться в целях реализации архивного хранения данных?
коэффициент сжатия зависит от энтропии данных, в твоих .xml могут быть например текстовые конфиги мавена которые отлично пожмутся, или например png в base64 которые особо сильно не пожмешь
ИН
коэффициент сжатия зависит от энтропии данных, в твоих .xml могут быть например текстовые конфиги мавена которые отлично пожмутся, или например png в base64 которые особо сильно не пожмешь
А можешь направить почитать, какие решения используются, я чёт гуглю криво.
ИН
на СХД вендоров же сжатие - стандартная функция ?
m
может быть и да, но на СХД будут скорее использовать быстрые алгоритмы сжатия, а не эффективные.
m
я бы просто взял весь датасет и попробовал бы пожать разными архиваторами.
на выбор: lzop, lz4, zstd, lzma (он же xz, примерно он же 7z), gzip и bzip2
на выбор: lzop, lz4, zstd, lzma (он же xz, примерно он же 7z), gzip и bzip2
m
если тебе нужны какие-то цифры, то я склеил 4292 xml файла которые были в директории с проектами, получил один размером в 19 метров.
gzip от него оставил 1.7Мб, xz - 324Кб. если в файл такого же размера напихать данных из /dev/urandom, то архивы получатся даже чуть больше чем исходный файл.
gzip от него оставил 1.7Мб, xz - 324Кб. если в файл такого же размера напихать данных из /dev/urandom, то архивы получатся даже чуть больше чем исходный файл.
-rw-r--r--. 1 alex alex 19583631 Apr 1 10:44 allfiles.xml
-rw-r--r--. 1 alex alex 1724900 Apr 1 10:44 allfiles.xml.gz
-rw-r--r--. 1 alex alex 331748 Apr 1 10:45 allfiles.xml.xz
-rw-r--r--. 1 alex alex 19583631 Apr 1 10:52 random.bin
-rw-r--r--. 1 alex alex 19586650 Apr 1 10:52 random.bin.gz
-rw-r--r--. 1 alex alex 19584664 Apr 1 10:50 random.bin.xz
ИН
да мы тут архивнули, сходу 10 к 1 получилось
AK
Илья Небо
да мы тут архивнули, сходу 10 к 1 получилось
В тему почитать: https://habr.com/ru/company/flant/blog/548428/
В твоем случае для достижения максимального сжатия текстовых повторяющихся строк можно потюнить разные алгоритмы сжатия на размеры скользящего окна, глубину заглядывания и возвратов. За это придется заплатить временем исполнения, но тут или рыбку съесть или на максимальную компрессию сесть
В твоем случае для достижения максимального сжатия текстовых повторяющихся строк можно потюнить разные алгоритмы сжатия на размеры скользящего окна, глубину заглядывания и возвратов. За это придется заплатить временем исполнения, но тут или рыбку съесть или на максимальную компрессию сесть
T
я бы просто взял весь датасет и попробовал бы пожать разными архиваторами.
на выбор: lzop, lz4, zstd, lzma (он же xz, примерно он же 7z), gzip и bzip2
на выбор: lzop, lz4, zstd, lzma (он же xz, примерно он же 7z), gzip и bzip2
xz же вроде более современный, он и сожмет лучше всех с помощью лзма.. если только в хмл этих нет мультимедийной инфы или типа того, с высокой энтропией да, ты прав
T
по соотношению скорость сжатие лучше лзма вроде ниче и нет)
AK
Если понимать и учитывать обрабатываемый формат данных и выходить за пределы типичных флагов архиватора, то почти всегда можно достичь более хороших результатов по сравнению с дефолтовым сжатием
FD
Никто тут рутокенами не закупается? А то как продам
AD
Anonymous
Ребят, хочу учится чему-то новому. Подкиньте курсы по ИБ
AD
Что бы определиться с курсами, определитесь с веткой развития в ИБ
К
А что это делает ?
К
ИБ вообще по сути ничего не делает. Постоянно утечки, все это бессмыслено