Size: a a a

ClickHouse не тормозит

2020 May 29

DC

Denny Crane (I don't... in ClickHouse не тормозит
причем эта проблема стрельнула в playground , он int64 неправильно отображает
источник

ДБ

Дмитрий Бережнов... in ClickHouse не тормозит
Про настройку output_format_json_quote_64bit_integers знаю, как оказалось в js-драйвере в одном случае почему-то не выставлялась. Сижу фикшу
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Дмитрий Бережнов
Про настройку output_format_json_quote_64bit_integers знаю, как оказалось в js-драйвере в одном случае почему-то не выставлялась. Сижу фикшу
а чем вы парсите json в драйвере?
источник

ДБ

Дмитрий Бережнов... in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
а чем вы парсите json в драйвере?
Либа, которой хожу в HTTP REST КХ, она сама парсит тело как json - request
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
в общем это обход для

$ node
> 9223372033328793741
9223372033328794000
источник

ДБ

Дмитрий Бережнов... in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
в общем это обход для

$ node
> 9223372033328793741
9223372033328794000
Я понял, просто забыл про это
источник

Р

Рич in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
where dt = toDateTime('2020-05-29 00:00:00', 'Canada/Atlantic')

SELECT
   toDateTime('2020-05-29 00:00:00') AS x,
   toDate(x, 'Canada/Atlantic') AS y,
   toStartOfDay(x, 'Canada/Atlantic') AS z

┌───────────────────x─┬──────────y─┬───────────────────z─┐
│ 2020-05-29 00:00:00 │ 2020-05-28 │ 2020-05-28 00:00:00 │
└─────────────────────┴────────────┴─────────────────────┘
спасибо! а если я в BI хочу фильтровать, получается, то мне нужно как-то на входе данные конвертировать в нужную таймзону? звучит не очень эффективно(
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Рич
спасибо! а если я в BI хочу фильтровать, получается, то мне нужно как-то на входе данные конвертировать в нужную таймзону? звучит не очень эффективно(
ну придется на сервере (или в КХ)  поставить timezone
что у вас select timezone() сейчас выдает ?
источник

Р

Рич in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
ну придется на сервере (или в КХ)  поставить timezone
что у вас select timezone() сейчас выдает ?
Europe/Moscow
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Рич
Europe/Moscow
ну так все должно работать и так тогда, без дополнительных телодвижений
источник

Р

Рич in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
ну так все должно работать и так тогда, без дополнительных телодвижений
но данные в итоге в UTC лежат. Я смотрю на исходные (mysql) и в КХ, они совпадают
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Рич
но данные в итоге в UTC лежат. Я смотрю на исходные (mysql) и в КХ, они совпадают
в mysql UTC лежит? как в КХ заливаете?
источник

Р

Рич in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
в mysql UTC лежит? как в КХ заливаете?
да, в UTC. Создаю таблицу с движком MySQL и такую же с MergeTree. Потом делаю "insert into (mergetree) select * from (mysql)"
источник

DT

Dmitry Titov in ClickHouse не тормозит
забавный запрос вышел.
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Рич
да, в UTC. Создаю таблицу с движком MySQL и такую же с MergeTree. Потом делаю "insert into (mergetree) select * from (mysql)"
ну т.е. в момент инсерта время ломается, выгружается из mysql UTC а в КХ загружается moscow

проверить можно с помощью toUnixTimestamp()
источник

DT

Dmitry Titov in ClickHouse не тормозит
Только непонятно откуда.
поле не участвует ни в PARTITION KEY, не в ORDER BY
это enum сжат LZ4.
Единственная зацепка, что только сегодня начали записываться значения отличные от 1
Но, я не помню, что бы где то писалось, что кликхаус сам по себе хранит minmax для всех полей
Разве, что он так быстро прочитал mark кеш.
источник

Р

Рич in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
ну т.е. в момент инсерта время ломается, выгружается из mysql UTC а в КХ загружается moscow

проверить можно с помощью toUnixTimestamp()
то есть если я время сервера укажу UTC, то смогу в BI нормально фильтровать?

или при insert могу время конвертировать в Московское?
источник

AT

Al T in ClickHouse не тормозит
Игорь Трофимов
[1,2,3,4,5] - [1,2,3] = [4,5]
BitmapXor ?
источник

AT

Al T in ClickHouse не тормозит
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Рич
то есть если я время сервера укажу UTC, то смогу в BI нормально фильтровать?

или при insert могу время конвертировать в Московское?
у вас проблема в том что при insert время корежится, вам это надо проверить и поправить. Дальше все будет работать само
источник