Size: a a a

ClickHouse не тормозит

2020 June 08

D

Dj in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
само значение toYYYYMM нигде не хранится, в парте хранятся значения minmax(date), есть тикет возможно когда-нибудь
ой, дайте ссылку на тикет следить, а то мы свой собирались открывать
источник

D

Dj in ClickHouse не тормозит
Denisio
да вроде написано что 20.04 LTS
ааа, вы про версию убунты ) "дефолт сити"
я подумал вы про КХ 20.4
источник

D

Denisio in ClickHouse не тормозит
нет, я про убунту
источник

D

Denisio in ClickHouse не тормозит
да, я чот не подумал про версии CH :)
источник

F🚜

Felixoid 🚜🇩🇪... in ClickHouse не тормозит
Доброго дня. Вопрос относительно настройки date_time_input_format='best_effort' и движка Kafka. Этот параметр придётся задавать глобально для пользователя default, чтобы из кафки читать строчки а ля 2020-06-08T12:27:15.410246Z в колонки DateTime или Date?
источник

D

Dj in ClickHouse не тормозит
Denisio
да, я чот не подумал про версии CH :)
ну простите, не могу помочь, мы живем на rhel/centos
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Dj
20.3 -

[V30LC-INCLKHSE1.PW.LOCAL] 2020.06.08 18:07:05.752893 [ 862 ] {75cb8877-cc8a-4a26-b1ea-03f35ab2ea19} <Debug> schema.tablexxx (SelectExecutor): Selected 1 parts by date, 1 parts by key, 13984 marks to read from 1 ranges
ок, может из-за процессоров, но все равно придется все парты перечислять
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Dj
ой, дайте ссылку на тикет следить, а то мы свой собирались открывать
источник

D

Dj in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
ок, может из-за процессоров, но все равно придется все парты перечислять
да,
select  count(*) from table tt where _part in (select name from system.parts where partition='(202004,146)');
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Dj
да,
select  count(*) from table tt where _part in (select name from system.parts where partition='(202004,146)');
проблема что прунинг уже закончится до (select name from system.
источник

D

Dj in ClickHouse не тормозит
Andrey
Если задавать конкретно то же выражение что и в PARTITION BY то все работает ок.
Пример для toYYYYMM партиционировантя:

(SelectExecutor): Key condition: (toYYYYMM(column 0) in [202006, 202006])
(SelectExecutor): MinMax index condition: (toYYYYMM(column 0) in [202006, 202006])
работает, потому что функция такая. если функция mod, внезапно работать не будет
источник

D

Dj in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
проблема что прунинг уже закончится до (select name from system.
исправлено:
with (select groupArray(name) partsList from system.parts where partition='(202004,150)' and  `table` ='tablename' and active) as partsList
select  count(*), length(partsList) from vs_cm_data vcd where has (partsList, _part);

...
[V30LC-INCLKHSE1.PW.LOCAL] 2020.06.08 18:28:32.061240 [ 862 ] {772cee9b-3b2e-4784-a0ce-b8fe442c8eab} <Debug> schema.tablename (SelectExecutor): Selected 9 parts by date, 9 parts by key, 67808 marks to read from 9 ranges
...

┌───count()─┬─length(partsList)─┐
│ 551776508 │                 9 │
└───────────┴───────────────────┘


@zulgabis fyi
источник

AM

Alexey Milovidov in ClickHouse не тормозит
Dj
@milovidov_an доброго времени суток,
а можно либо
https://github.com/ClickHouse/ClickHouse/pull/10542
либо
https://github.com/ClickHouse/ClickHouse/issues/10483

в 20.3 замерджить?

сейчас физически невозможно анализировать запрос использующий словари посредством trace логов + логи переполняются...
Сделаем второе (бэкпортируем убирание излишнего логгирования).
источник

D

Dj in ClickHouse не тормозит
Alexey Milovidov
Сделаем второе (бэкпортируем убирание излишнего логгирования).
спасибо!
источник

D

Dmutruu in ClickHouse не тормозит
Всем привет, подскажите пожалуйста. как в кх округлять недели, чтоб первая начиналась с понедельника 00:00:00, а последняя заканчивалась воскресеньем 23:59:59, делаю такой конструкцией, но данные все равно показываетcz уже следующей недели                                                                                                                                                       WHERE date > toStartOfWeek(now()) - interval 23 week
 AND  date < toStartOfWeek(now())
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Dmutruu
Всем привет, подскажите пожалуйста. как в кх округлять недели, чтоб первая начиналась с понедельника 00:00:00, а последняя заканчивалась воскресеньем 23:59:59, делаю такой конструкцией, но данные все равно показываетcz уже следующей недели                                                                                                                                                       WHERE date > toStartOfWeek(now()) - interval 23 week
 AND  date < toStartOfWeek(now())
не понятно что за тип у date ? дата?

дата сравнивается с датой?

date <= oStartOfWeek(now())-interval 1 day

или с временем?
источник

D

Dmutruu in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
не понятно что за тип у date ? дата?

дата сравнивается с датой?

date <= oStartOfWeek(now())-interval 1 day

или с временем?
у date тип date
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Dmutruu
у date тип date
ну тогда date < toStartOfWeek(now()) должно работать, может время из-за таймзон неправильно получается?
источник

D

Dmutruu in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
ну тогда date < toStartOfWeek(now()) должно работать, может время из-за таймзон неправильно получается?
а как к таймзоне привести нормальной
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Dmutruu
а как к таймзоне привести нормальной
а где вы время видите?

проблема в том что неясно в какой TZ вы храните и в какой видите.

select sometimecol, toString(sometimecol)
....
...
where ...

есть разница в sometimecol vs toString(sometimecol) ?
источник