Size: a a a

ClickHouse не тормозит

2021 January 25

КТ

Константин Трофимов... in ClickHouse не тормозит
@Xapa6apga
SELECT *
FROM tmp444

┌─day─┬─user─┬─cost─┐
│   1 │ me   │    2 │
│   2 │ me   │    4 │
│   1 │ you  │    1 │
│   2 │ you  │    3 │
└─────┴──────┴──────┘

WITH t AS
   (
       SELECT
           day,
           user,
           sum(cost) AS sum
       FROM tmp444
       GROUP BY
           day,
           user
   )
SELECT *
FROM t
INNER JOIN
(
   SELECT
       user,
       sum(sum) AS total
   FROM t
   GROUP BY user
) AS t2 USING (user)

┌─day─┬─user─┬─sum─┬─total─┐
│   2 │ me   │   4 │     6 │
│   1 │ you  │   1 │     4 │
│   2 │ you  │   3 │     4 │
│   1 │ me   │   2 │     6 │
└─────┴──────┴─────┴───────┘
источник

КТ

Константин Трофимов... in ClickHouse не тормозит
ну... почти
источник

CO

Chern Oleksander in ClickHouse не тормозит
Константин Трофимов
@Xapa6apga
SELECT *
FROM tmp444

┌─day─┬─user─┬─cost─┐
│   1 │ me   │    2 │
│   2 │ me   │    4 │
│   1 │ you  │    1 │
│   2 │ you  │    3 │
└─────┴──────┴──────┘

WITH t AS
   (
       SELECT
           day,
           user,
           sum(cost) AS sum
       FROM tmp444
       GROUP BY
           day,
           user
   )
SELECT *
FROM t
INNER JOIN
(
   SELECT
       user,
       sum(sum) AS total
   FROM t
   GROUP BY user
) AS t2 USING (user)

┌─day─┬─user─┬─sum─┬─total─┐
│   2 │ me   │   4 │     6 │
│   1 │ you  │   1 │     4 │
│   2 │ you  │   3 │     4 │
│   1 │ me   │   2 │     6 │
└─────┴──────┴─────┴───────┘
а внутреннего ничего нет? (( только через подзапрос
Спасибо!
источник

КТ

Константин Трофимов... in ClickHouse не тормозит
а нет, не почти, работает )
данных мало вставил, нечего было суммировать )
источник

КТ

Константин Трофимов... in ClickHouse не тормозит
Chern Oleksander
а внутреннего ничего нет? (( только через подзапрос
Спасибо!
есть with totals
но это не совсем то что вы хотите
источник

КТ

Константин Трофимов... in ClickHouse не тормозит
вобщем то... кроме WITH t AS (запрос) это будет уже обертка над результатом
источник

CO

Chern Oleksander in ClickHouse не тормозит
Константин Трофимов
есть with totals
но это не совсем то что вы хотите
если через окно, тогда квери вот такое
select date, user_id, sum(amount) amount_by_day,
sum(amount) over (partition by user_id) amount_live_time
источник

КТ

Константин Трофимов... in ClickHouse не тормозит
и если результат не слишком большой, то можно и джоином, не страшно
источник

CO

Chern Oleksander in ClickHouse не тормозит
Константин Трофимов
и если результат не слишком большой, то можно и джоином, не страшно
а у меня уже есть один джоин ((
источник

A

Alexandr in ClickHouse не тормозит
Вопрос из зала, кто-то сталкивался с проблемой zookeeper когда он пытается реплицировать 60 гиг данных? Может кто-то может поделиться хорошим конфигом, где все эти memory allocation и garbage collectors хорошо сконфигурированы ?
источник

ДН

Данилов Никита... in ClickHouse не тормозит
Привет! Подскажите, а есть какой то аналог функции рандомного шаффла массива (random.shuffle()), как в питоне? Или может другой путь это сделать
источник

A

Alexandr in ClickHouse не тормозит
Alexandr
Вопрос из зала, кто-то сталкивался с проблемой zookeeper когда он пытается реплицировать 60 гиг данных? Может кто-то может поделиться хорошим конфигом, где все эти memory allocation и garbage collectors хорошо сконфигурированы ?
или может кто-то знает лучшую алтьтернативу zookeeper типа zetcd
источник

D

Dj in ClickHouse не тормозит
Alexandr
Вопрос из зала, кто-то сталкивался с проблемой zookeeper когда он пытается реплицировать 60 гиг данных? Может кто-то может поделиться хорошим конфигом, где все эти memory allocation и garbage collectors хорошо сконфигурированы ?
на сайте КХ есть https://clickhouse.tech/docs/ru/operations/tips/#zookeeper

количество данных не так важно как количество партов
источник

S

Slach in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
аа, я понял о чем вы

наверное из-за
SYNC ждет 480s <database_atomic_delay_before_drop_table_sec>480</database_atomic_delay_before_drop_table_sec>
ON CLUSTER 180s  distributed_ddl_task_timeout 180

поменяйте в config.xml на 30 сек. <database_atomic_delay_before_drop_table_sec>30
воспроизвелось в docker-compose
<distributed_ddl_task_timeout>20</distributed_ddl_task_timeout>
и
<database_atomic_delay_before_drop_table_sec>1</database_atomic_delay_before_drop_table_sec>

блин я не понимаю что не так
с DNS пофигу, DNS не влияет

похоже бага именно в atomic
он  не отдает в ddl queue в finished никаких результатов после физического удаления таблицы
https://gist.github.com/Slach/a7f2946a108883f6b1d5585b1b5b6b0d
источник

A

Alexandr in ClickHouse не тормозит
Спасибо, сейчас поковыряем :-)
источник

K

Kid in ClickHouse не тормозит
Добрый день. Подскажите, что сделать в такой ситации и как не допустить такого:
Таблица CollapsingMT:
1. Добавил строку с sign=1
2. Добавил строку с sign=-1(с ключом сортировки как и в п.1, все остальные атрибуты=атрибутам п.1)
3. Добавил строку с sign=1(с ключом сортировки как и в п.1, другие атрибуты изменены)
Все три висят в таблице и не схлопываются уже 2 дня. Как их схлопнуть, и как избежать такой проблемы в дальнейшем?
источник

M

Mishanya in ClickHouse не тормозит
Kid
Добрый день. Подскажите, что сделать в такой ситации и как не допустить такого:
Таблица CollapsingMT:
1. Добавил строку с sign=1
2. Добавил строку с sign=-1(с ключом сортировки как и в п.1, все остальные атрибуты=атрибутам п.1)
3. Добавил строку с sign=1(с ключом сортировки как и в п.1, другие атрибуты изменены)
Все три висят в таблице и не схлопываются уже 2 дня. Как их схлопнуть, и как избежать такой проблемы в дальнейшем?
схлопнется само в фоне
источник

K

Kid in ClickHouse не тормозит
Mishanya
схлопнется само в фоне
висит уже 2 дня
источник

M

Mishanya in ClickHouse не тормозит
Kid
висит уже 2 дня
так этот движок и не гаранирует что они схлопнутся.
источник

YY

Yury Yurochko in ClickHouse не тормозит
Он может и не схлопнуть, если решит, что "и так нормально".
Можете ручками принудительно мерж запустить.
источник