Size: a a a

ClickHouse не тормозит

2020 June 08

Р

Рустам in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
Одновременно надо три пакета перечислить
Спасибо🙏
источник

PL

Piotr Liakhavets in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
хороший Insert выполняется стримабл, он просто не видит settings в конце. Настройку через урл или set или профиль надо задать
спасибо
попробую посетать на коннекте / перед запросом
* но запрос видит сеттинг distributed_product_mode='allow' оттуда-же из сеттингов в хвосте
источник

MV

M VS in ClickHouse не тормозит
А куда можно обратиться с повторяющимся багом, на который никто не ответил в данном канале?
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Piotr Liakhavets
спасибо
попробую посетать на коннекте / перед запросом
* но запрос видит сеттинг distributed_product_mode='allow' оттуда-же из сеттингов в хвосте
Мы видимо про разные инсерты говорим.
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
M VS
А куда можно обратиться с повторяющимся багом, на который никто не ответил в данном канале?
Путину можно письмо написать, но лучше тикет в гитхаб.
источник

MV

M VS in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
Путину можно письмо написать, но лучше тикет в гитхаб.
спасибо
источник

DS

Dimitriy Scherbenko in ClickHouse не тормозит
всем привет! подскажите, пожалуйста, почему не обновляется МВ? есть предположение, что, так как записи добавляются построчно, то используемый фильтр автоматически их фильтрует. можно ли как-то это обойти? текст запроса привожу ниже

CREATE MATERIALIZED VIEW retained_users
    engine = AggregatingMergeTree order by(
       city_id
       ,initial_date
       ,retention_date
       ,retention
   )
populate
as
select
   city_id
   ,udate[1] as initial_date
   ,date as retention_date
   ,date - udate[1] as retention
   ,countState(user_id) as retained_users_cnt
from(
   select  city_id
           ,user_id
           ,arraySort(arrayReduce('groupUniqArray', groupArray(date))) as udate
           ,arrayEnumerate(udate) as dindex
           ,arrayFilter(date, index -> (udate[index] - udate[1] == 1) or
                                       (udate[index] - udate[1] == 3) or (udate[index] - udate[1] == 7) or
                                       (udate[index] - udate[1] == 14) or (udate[index] - udate[1] == 28) or
                                       (udate[index] - udate[1] == 60) or (udate[index] - udate[1] == 90) or
                                       (udate[index] - udate[1] == 180) or (udate[index] - udate[1] == 360),
                                       udate, dindex) as udate_filter
   from table_users
   group by user_id
           ,city_id
       )
array join udate_filter as date
group by
   city_id
   ,udate[1]
   ,date
   ,date - udate[1];
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Dimitriy Scherbenko
всем привет! подскажите, пожалуйста, почему не обновляется МВ? есть предположение, что, так как записи добавляются построчно, то используемый фильтр автоматически их фильтрует. можно ли как-то это обойти? текст запроса привожу ниже

CREATE MATERIALIZED VIEW retained_users
    engine = AggregatingMergeTree order by(
       city_id
       ,initial_date
       ,retention_date
       ,retention
   )
populate
as
select
   city_id
   ,udate[1] as initial_date
   ,date as retention_date
   ,date - udate[1] as retention
   ,countState(user_id) as retained_users_cnt
from(
   select  city_id
           ,user_id
           ,arraySort(arrayReduce('groupUniqArray', groupArray(date))) as udate
           ,arrayEnumerate(udate) as dindex
           ,arrayFilter(date, index -> (udate[index] - udate[1] == 1) or
                                       (udate[index] - udate[1] == 3) or (udate[index] - udate[1] == 7) or
                                       (udate[index] - udate[1] == 14) or (udate[index] - udate[1] == 28) or
                                       (udate[index] - udate[1] == 60) or (udate[index] - udate[1] == 90) or
                                       (udate[index] - udate[1] == 180) or (udate[index] - udate[1] == 360),
                                       udate, dindex) as udate_filter
   from table_users
   group by user_id
           ,city_id
       )
array join udate_filter as date
group by
   city_id
   ,udate[1]
   ,date
   ,date - udate[1];
Mv применяется к данным инсерта, таблица не читается
источник

DS

Dimitriy Scherbenko in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
Mv применяется к данным инсерта, таблица не читается
Спасибо. Собственно так и думал. Можно это как-то обойти?
источник

SD

Stanislav Dimitriev in ClickHouse не тормозит
Ребят, привет!
Запустил optimize table my_table final deduplicate;

смотрю

SELECT *
from system.replication_queue
order by create_time
LIMIT 100


Code: 365, e.displayText() = DB::Exception: Output of TreeExecutor is not sorted (version 20.4.4.18 (official build))
Такая ошибка во всех строках
источник

SD

Stanislav Dimitriev in ClickHouse не тормозит
с чем может быть связано
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
mv сделан как триггер на инсерт.
Вам нужно что-то другое. Наверное по крону как-то обновлять
источник

SD

Stanislav Dimitriev in ClickHouse не тормозит
Из-за этого ещё и запросы все стали отваливаться с разными ошибками. Может можно откатить как-то оптимайз
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Stanislav Dimitriev
Из-за этого ещё и запросы все стали отваливаться с разными ошибками. Может можно откатить как-то оптимайз
Попробуйте system stop merges таблица.  Поторм назад старт. Если не поможет то надо детачить таблицы и удалять из зукипера
источник

SD

Stanislav Dimitriev in ClickHouse не тормозит
А если не стартовать то состояние будет поломанное?
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Stanislav Dimitriev
А если не стартовать то состояние будет поломанное?
Старт я про system start merges
источник

DS

Dimitriy Scherbenko in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
mv сделан как триггер на инсерт.
Вам нужно что-то другое. Наверное по крону как-то обновлять
спасибо
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Stanislav Dimitriev
Ребят, привет!
Запустил optimize table my_table final deduplicate;

смотрю

SELECT *
from system.replication_queue
order by create_time
LIMIT 100


Code: 365, e.displayText() = DB::Exception: Output of TreeExecutor is not sorted (version 20.4.4.18 (official build))
Такая ошибка во всех строках
а вы раньше запускали такой optimize? Какая версия кх была до этого?
источник

SD

Stanislav Dimitriev in ClickHouse не тормозит
нет
источник

SD

Stanislav Dimitriev in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
Старт я про system start merges
вроде никакого эффекта не оказало
источник