Добрый день, коллеги. Думаем начать использовать ClickHouse для сбора статистики и аналитики данных в интернет-магазине. Подскажите пожалуйста, начиная с каких объемов данных CH может быть эффективен, а в каких случаях его вообще не стоит использовать? Заранее благодарю.

спасибо, гляну

если у вас данных меньше 1 гигабайта данных. то нет смысла использовать
если больше то можно уже попробовать

Как я понимаю, гигабайт, это всего около 2,5млн записей

Но вопрос в том, что эти данные можно собрать за год, а можно и за месяц..

Поэтому, наверное вопрос стоит про объем за какой-то период.

а вы читали начальную страницу доки?

там написано как и зачем юзать клик врод как

гиг другой третий четвертый можно и в оперативку поднять, причем не важно даже чем хоть тарантулом хоть монгой хоть мускулем, я думаю даже особо не будет иметь значения что за бд

=)) откуда такое утверждение? у вас сырых данных 400 байт на строку?
ну так clickhouse данные жмет примерно 1 к 3 на рандомных данных
на данных с низкой кардинальностью может и x100 жать

Да, читал

нет, если делается аггрегация сырых данных. то реализация аггрегации ЭТО ОЧЕНЬ по разному в разных СУБД

Билды есть, но только последние. Откатиться на любую версию не получится. Это не годится для продакшена. Билдов в виде deb-пакетов под aarch64 нету. В докере арм-билдов нету. Так же у Яндекса есть свое apt репо, но там нет билдов для ARM. Если ты попытается спросить, что мешает яндексу прописать в конфиге своего CI заливать готовые ARM-билды, которые регулярно собираются в свое репо, которое давно существует, тебя тут пошлют писать PR на гитхаб, не понимая, что у тебя нет прав доступа к яндексовскому репо и CI, чтобы это тестить. Вот такой суровый мир.

что-то такое я и представлял 🙂 тут еще напряжение, что два стебл релиза, которые я собирал, падают в кору – вообще неудобная история выходит

При этом Aarch64 потихоньку откусывает свою долю серверного рынка, так как бабло (его экономия) побеждает зло. Но Яндекс тормозит, а виноват ты, так как не хочешь писать PR, хотя у тебя прав доступа к CI и репо нету.

Сделайте свой ci для клика?

здравствуйте, есть вопрос:
из одной таблицы копируется много данных через insert select в другую таблицу, на которую  смотрит n-ое кол-во мат. вью, которые, в свою очередь вставляют данные в некие целевые талбицы, и вот, судя по всему, в каждый момент времени отрабатывает вставку только одна мат. вью, в любом случае, вставка в таблицу двигается очень медленно, около 2 млн записей в минуту, CPU  и RAM используется минимально, можно ли, как-то, разогнать процесс?

Всем привет. Есть кейс, в котором хочу собирать агрегаты из клики. Но хочется сделать это одним запросом. Есть подозрение, что сделать 10 запросов по field = value дешевле, чем сделать запрос field in (<10 values>) и group by, хотя с точки зрения логики вроде должно быть наоборот.

У кого-нибудь есть опыт или инфа по тому как клика работает с группировкой и IN clause?

В профиле пользователя default
<parallel_view_processing>1</parallel_view_processing>

Один запрос должен быть дешевле, если не переходит грань когда запрос начинает группировать через диск