Кто может подсказать, для чего же все таки прндназначается движок Log, у парней в доке написано, что под тесты и демонстрации, но как-то интуитивно все таки выглядит, что движок лог, должен быть под огромное кол-во данных, которые не очень жалко(логи с приложух)

Ага, пришлось поперемещать парты по дискам. Спасибо🙂

Всем привет! Мы написали статью про то, как мы используем ClickHouse для интерактивных визуализаций данных о мобильности в городах:  https://medium.com/teralytics/visualizing-mobility-data-the-scalability-2575fe819702

Ну с ретентион делается через Group by user_id и пишется сколько тебе нужно этих retention, но это судя по всему будет не лучший способ.


Надо подумать, возможно можно сообразить через массивы, те
Тоже делаем group by user_id и формируем массив в котором суммируем число покупок для каждого месяца и ещё одна колонка эт будет номер первого ненулевого элемента массива для этого пользователя (те номер его когорты)
После этого мы делаем гроупбай по когорте и складываем массивы

Но это так, из головы
И если я правильно понял задачу

а в массиве же заказы не будут лежать по месяцам собранные? или это тоже можно как-то сделать?

Вот это на самом деле самое хитрое, тут нужно чутка подумать, но это сделать можно

посмотрю. Но это вроде большинство компаний считают как метрику, поэтому если у кого-то есть код — скиньте плиз! очень хочется сделать красиво (в mysql строк 200 там)

https://clickhouse.tech/docs/ru/engines/table-engines/log-family/log-family/

Движки разработаны для сценариев, когда необходимо быстро записывать много таблиц с небольшим объёмом данных (менее 1 миллиона строк), а затем читать их целиком.

всем привет!
возможно кому то пригодится
после обновления mysql c 5.7 на 8 версию, перестали обновлятся внешние словари
если не исползуется <invalidate_query>SQL_QUERY</invalidate_query> в словаре то по умолчанию
функция в кх которая выполняет обновление, отпрвлет запрос SHOW TABLE STATUS LIKE 'table'
получает Update_time таблицы и при следующем обновлении сравнивает это же значение и обновляет словарь если значение изменилось
в мускул 8 Update_time по дефолту теперь меняется только раз в стуки
название новой переменной information_schema_stats_expiry
https://bugs.mysql.com/bug.php?id=95407

в summap потом разве что придется избавится от массива ключей

коллеги, такой вопрос
если запрос (достаточно сложный) грузит очень много данных, ни при каких обстоятельствах это все не может поместиться в оперативку и упростить или урезать запрос никак нельзя. есть ли какой то сеттинг который поможет решить эту проблему, например с помошью сброса промежуточных результатов на диск?

можно уменьшить block_size

Но это не всем запросам поможет

Max_bytes_before_external_group_by или что-то около того, тогда он будет сбрасывать на диск то что не влазит в агрегацию, но будет значительно медленнее

так там дифолтное значение 64К... куда его урезать то?

В документации есть раздел у Select https://clickhouse.tech/docs/ru/sql-reference/statements/select/group-by/#select-group-by-in-external-memory

у вас там много массивов использется?