Size: a a a

ClickHouse не тормозит

2021 March 13

AK

Aleksey Kluchnikov in ClickHouse не тормозит
плохо работает с большим количеством пустых полей?
источник

AK

Aleksey Kluchnikov in ClickHouse не тормозит
или с инсертом с 3мя полями в таблицу со 100 полями?
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
нет. Ну вставили вы обеъкт из 100 полей, 33 инсерта по 3 поля. Как потом склеить это в одну строку? В один объект?
источник

AK

Aleksey Kluchnikov in ClickHouse не тормозит
делаю так select id, time, maxArg(v1, time), lastAny(v2).. group by id
источник

AK

Aleksey Kluchnikov in ClickHouse не тормозит
примерно так
источник

AK

Aleksey Kluchnikov in ClickHouse не тормозит
мне нужны последние ненулевые значения полей
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Aleksey Kluchnikov
делаю так select id, time, maxArg(v1, time), lastAny(v2).. group by id
и что работает такое? для миллиарда объектов например?
не проще сразу развернуть и хранить в строках EAV
источник

AK

Aleksey Kluchnikov in ClickHouse не тормозит
милиард не тестил.. надо гдето для милиона в день
источник

AK

Aleksey Kluchnikov in ClickHouse не тормозит
C EAV мучение как раз собирать этот объект
источник

AK

Aleksey Kluchnikov in ClickHouse не тормозит
придется городить код
источник

AK

Aleksey Kluchnikov in ClickHouse не тормозит
в общем если у меня месячные партиции, надо потетить как оно будет на месячном объеме. Если зарабтает то норм.
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Aleksey Kluchnikov
C EAV мучение как раз собирать этот объект
???
а вы своим запросом пробовали сразу все атрибуты собрать в один объект?
на миллионе объектов памяти не хватит
источник

AK

Aleksey Kluchnikov in ClickHouse не тормозит
остается только вопрос как вставлять
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Aleksey Kluchnikov
остается только вопрос как вставлять
ну  формат JSONEachRow {id: "444", attr78: "x", attr33: 5} {id: "22", attr34: "y", attr1: 4.5}
источник

AK

Aleksey Kluchnikov in ClickHouse не тормозит
спасибо попробую
источник
2021 March 14

ИМ

Илья Максимов... in ClickHouse не тормозит
Доброй ночи. Есть возможность добавить семплинг после создания таблицы, а также его дальнейшее изменение? В доке по этому поводу ничего не нашел, но у меня теплится надежда, что может это не задокументированная возможность?
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Илья Максимов
Доброй ночи. Есть возможность добавить семплинг после создания таблицы, а также его дальнейшее изменение? В доке по этому поводу ничего не нашел, но у меня теплится надежда, что может это не задокументированная возможность?
Можно.
Проблема в том что для семплинга нужно выражение с хешфункцией в индексе, причем чтобы семплинг работал нужно особым образом сделать индекс таким образом чтобы кардинальнсть лидирующих полей перед выражением для семплинга была невысокой.
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
И семплинг больше .1 смысла не имеет. Поэтому если вам нужен семплинг типа по 20% то можно просто в where дописать %5=0
источник

ИМ

Илья Максимов... in ClickHouse не тормозит
То есть в теории, если дописать в WHERE rand() % 5 = 0 будет похоже на семплинг
источник

ИМ

Илья Максимов... in ClickHouse не тормозит
и  можно обойтись без ddl жертв
источник