Телеграмм чат группы clickhouse

2021 March 10

pk

papa karlo in ClickHouse не тормозит

куб, оператор, неймспейс, кто все эти люди

источник

16:45пожаловаться #1

I

Ivan in ClickHouse не тормозит

papa karlo

куб, оператор, неймспейс, кто все эти люди

ну я видел тут ребят из Altinity :)

надеюсь что мой вопрос очень простой и глупый, и я просто что-то делаю не так

источник

16:47пожаловаться #2

VS

Vladyslav Sakun in ClickHouse не тормозит

Ivan

подскажите пожалуйста:

деплою в куб оператор кликхауса в один неймспейс, само описание кластера - в другой.
не поднимается :(

если все в одном неймспейсе - все ок.

вижу что в операторе как будто есть переменная WATCH_NAMESPACES, но как повлиять на нее - не знаю

Вы видомо говорите об кубернетис операторе для Кликхауза.
Его нужно задавать конкретно тому кто работает над оператором.
Поищите либо в чате, либо напишите в гитхабе им через issue

источник

16:47пожаловаться #3

I

Ivan in ClickHouse не тормозит

Vladyslav Sakun

Вы видомо говорите об кубернетис операторе для Кликхауза.
Его нужно задавать конкретно тому кто работает над оператором.
Поищите либо в чате, либо напишите в гитхабе им через issue

о нем. уже задавал тут вопросы - вроде отвечали

источник

16:48пожаловаться #4

DT

Dmitry Titov in ClickHouse не тормозит

Ivan

подскажите пожалуйста:

деплою в куб оператор кликхауса в один неймспейс, само описание кластера - в другой.
не поднимается :(

если все в одном неймспейсе - все ок.

вижу что в операторе как будто есть переменная WATCH_NAMESPACES, но как повлиять на нее - не знаю

так она из env берется
https://github.com/Altinity/clickhouse-operator/blob/9242677cb4a6b210d4490b193d02d6b0b01581a7/pkg/apis/clickhouse.altinity.com/v1/type_config_chop.go#L413

попробуйте для пода оператора сделать env переменную соответсвующую

GitHub

Altinity/clickhouse-operator

The ClickHouse Operator creates, configures and manages ClickHouse clusters running on Kubernetes - Altinity/clickhouse-operator

источник

16:50пожаловаться #5

ИМ

Илья Москалев... in ClickHouse не тормозит

Хей, ктонить вставляет в Distributed с опцией insert_distributed_sync? Насколько это надежно? Часты ли потери/дубли?

источник

16:50пожаловаться #6

DT

Dmitry Titov in ClickHouse не тормозит

Илья Москалев

Хей, ктонить вставляет в Distributed с опцией insert_distributed_sync? Насколько это надежно? Часты ли потери/дубли?

Люди вставляют, потерь быть не должно(в случае ошибки при вставке вернется ошибка)

источник

16:51пожаловаться #7

ИМ

Илья Москалев... in ClickHouse не тормозит

Ну потерь и в KafkaEngine быть не должно, но они есть

источник

16:53пожаловаться #8

DT

Dmitry Titov in ClickHouse не тормозит

Илья Москалев

Ну потерь и в KafkaEngine быть не должно, но они есть

если потери есть, то нужно писать issue на гитхаб, на последний момент вроде не было известно о таких м для кафки

источник

16:53пожаловаться #9

DC

Denny Crane [not a Y... in ClickHouse не тормозит

Илья Москалев

Хей, ктонить вставляет в Distributed с опцией insert_distributed_sync? Насколько это надежно? Часты ли потери/дубли?

так этот параметр не влияет на потери напрямую, он просто заставляет insert ждать пока инсерт будет пропехнут в нижележащие таблицы

источник

16:55пожаловаться #10

DC

Denny Crane [not a Y... in ClickHouse не тормозит

Илья Москалев

Ну потерь и в KafkaEngine быть не должно, но они есть

в каком-то смысле в КХ aciD (durability), поэтому ....

источник

16:56пожаловаться #11

L

Lena in ClickHouse не тормозит

Коллеги, добрый день. Есть ли изящный способ подготовить матвьюшку для отчета, где надо выводить данные нарастающим итогом?

В сырых данных хранятся события, а в отчете необходимо вывести количество событий с начала времен по эту дату. Я думаю над таким вариантом: создать над сырыми данными вьюшку AggregatingMergeTree, считающую count по дням и сортирующую записи от старых к новым, над этой вьюшкой - еще одну AggregatingMergeTree, применяющую groupArrayMovingSum к count

источник

16:56пожаловаться #12

DC

Denny Crane [not a Y... in ClickHouse не тормозит

Lena

Коллеги, добрый день. Есть ли изящный способ подготовить матвьюшку для отчета, где надо выводить данные нарастающим итогом?

В сырых данных хранятся события, а в отчете необходимо вывести количество событий с начала времен по эту дату. Я думаю над таким вариантом: создать над сырыми данными вьюшку AggregatingMergeTree, считающую count по дням и сортирующую записи от старых к новым, над этой вьюшкой - еще одну AggregatingMergeTree, применяющую groupArrayMovingSum к count

нет, так не получится. MV не то что вы подумали
считайте запросов из первого MV

источник

16:59пожаловаться #13

DC

Denny Crane [not a Y... in ClickHouse не тормозит

Alexey Kh

Привет,
А есть какой-нибудь адекватный способ считать длительности цепочек событий?
Допустим, есть у меня таблица

(ts, session_id, event (START/SOMETHING/END))

и я хочу посчитать среднюю по больнице (среднее время между START-END внутри одной сессии, например)

есть ли какой-нибудь изящный способ это сделать? пока думал над следующими вариантами:
* запилить адовую аггрегацию с array-функциями и group by csid - не хватает оперативки
* запилить SummingMergeTree (csid, ts_buffer, counter), по событию START вставлять туда (csid, ts, 1), по событию END вставлять туда (csid, -ts, 1). Вроде должно работать очень быстро, но тут не ясно, что делать, когда counter%2!=0 (придется отбрасывать все данные, даже если там какие-то другие есть)

и что у session_id всегда одна пара start stop ?

источник

17:03пожаловаться #14

AK

Alexey Kh in ClickHouse не тормозит

Denny Crane [not a Yandex bot]

и что у session_id всегда одна пара start stop ?

может быть несколько

источник

17:03пожаловаться #15

L

Lena in ClickHouse не тормозит