I
а почему рандомное распределение используете?
Size: a a a
2020 June 04
DT
а можно это как-то оптимизировать ?
не использовтаь рандомное распределение?
I
не вижу плюсов у рандомного относительно какого-то, которое может и помочь в будущем)
IR
пробовали OPTIMIZE TABLE table ON CLUSTER cluster PARTITION '2020-03-01' FINAL? видел, что оптимизацию пробовали, мб с явным указанием партиции поможет
пробовал, раньше одна партиция хранилась на разных кусках, сейчас все в одном, но на размер это не повлияло.
I
попробуйте распределение по какому-нибудь адекватному выражению, чтобы было +- 50 на 50 в итоге
I
и сожмется лучше, и группировать потом, если нужно будет, проще
IR
не использовтаь рандомное распределение?
мне надо распределять данные равномерно. Могу указать в качестве ключа дату создания записи, она должна быть уникальной.
IR
и сожмется лучше, и группировать потом, если нужно будет, проще
а что влияет на сжатие ?
I
а нет никакого uid или id записей?
I
кол-во и длина одинаковых последовательностей в оригинальном файле
IR
а нет никакого uid или id записей?
нет, это не мой случай
DT
мне надо распределять данные равномерно. Могу указать в качестве ключа дату создания записи, она должна быть уникальной.
а смысл дату записи?
DT
если у тебя на 1 ноде сжималось лучше. значит твои данные не случайны и по ключу сортировки есть зависимость
DT
вот и найди какой нибудь из столбцов ключа сортировки
IR
а смысл дату записи?
так как записи все уникальные равномерность распределения ляжет на веса?
I
если веса одинаковые, а ключ правильно подобран, то все норм будет
IR
вобщем я понял куда копать, спасибо!
