Телеграмм чат группы clickhouse

Oleksii Mylotskyi

20.4.3.16 последняя вроде была.

20.4.4.18 последняя

19:06пожаловаться #1

Б

Привет!
Мне нужно materialized view.
Проблема в том, что данные прилетающие в таблицу могут содержать время в прошлом(-10/15 минут).
Соответственно если в mw я считаю quantileTDigest по какому то столбцу и временному интервалу - строки дублируются.
Как можно поступить в этом случае?

19:10пожаловаться #2

DC

Привет!
Мне нужно materialized view.
Проблема в том, что данные прилетающие в таблицу могут содержать время в прошлом(-10/15 минут).
Соответственно если в mw я считаю quantileTDigest по какому то столбцу и временному интервалу - строки дублируются.
Как можно поступить в этом случае?

MV это триггер на инсерт, оно не читает исходную таблицу

теоритически у вас quantileTDigest со стейтом должны быть за период какой-то и строки должны схлопнутся, и это вообще не должно влиять, поэтому странно

quantileTDigestState у вас ?

19:20пожаловаться #3

Б

MV это триггер на инсерт, оно не читает исходную таблицу

теоритически у вас quantileTDigest со стейтом должны быть за период какой-то и строки должны схлопнутся, и это вообще не должно влиять, поэтому странно

quantileTDigestState у вас ?

верно, да. но если в одном инсерте пришли данные за 2020-06-09 00:00:00, потом была ещё пачка вставок, а потом снова 2020-06-09 00:00:00
будут дубли, верно?

19:23пожаловаться #4

Б

MV это триггер на инсерт, оно не читает исходную таблицу

теоритически у вас quantileTDigest со стейтом должны быть за период какой-то и строки должны схлопнутся, и это вообще не должно влиять, поэтому странно

quantileTDigestState у вас ?

нет, без State

19:23пожаловаться #5

DC

нет, без State

ну тогда все бессмысленно, quantileTDigestState должен быть

19:24пожаловаться #6

DC

верно, да. но если в одном инсерте пришли данные за 2020-06-09 00:00:00, потом была ещё пачка вставок, а потом снова 2020-06-09 00:00:00
будут дубли, верно?

дубли? Таблицу MV не читает, и то что дубли схлопываете в таблице или в select-е который в MV не знает, это все зря

19:26пожаловаться #7

Б

дубли? Таблицу MV не читает, и то что дубли схлопываете в таблице или в select-е который в MV не знает, это все зря

quantileTDigestState + quantileTDigestMerge спасут, верно я понимаю?

19:29пожаловаться #8

DC

quantileTDigestState + quantileTDigestMerge спасут, верно я понимаю?

ну вероятно

19:31пожаловаться #9

Б

ну вероятно

спасибо )

19:31пожаловаться #10

NN

После перезапуска кликхауса и зукипера в докер стэке при попытке вставки в них данных через clickhouse_bulk стал получать DB::Exception: Table is in readonly mode, подскажите пожалуйста чем лечится?

Dmitry Titov in ClickHouse не тормозит

21:58пожаловаться #11

DT

Nick Nizovtsev

После перезапуска кликхауса и зукипера в докер стэке при попытке вставки в них данных через clickhouse_bulk стал получать DB::Exception: Table is in readonly mode, подскажите пожалуйста чем лечится?

у таблицы движок репликатед?

22:01пожаловаться #12

NN

по запросу SELECT * FROM system.replicas where is_readonly = 1 выдает на таблицах Code: 999, e.displayText() = Coordination::Exception: No node, path: /clickhouse/tables/1/table_name/log

22:01пожаловаться #13

NN

да

Dmitry Titov in ClickHouse не тормозит

22:01пожаловаться #14

DT

Nick Nizovtsev

по запросу SELECT * FROM system.replicas where is_readonly = 1 выдает на таблицах Code: 999, e.displayText() = Coordination::Exception: No node, path: /clickhouse/tables/1/table_name/log

ты volume для zookeeper монтировал?

22:02пожаловаться #15

NN

это делается вручную после перезапуска?

22:02пожаловаться #16

NN

конфиги вроде не менял