Size: a a a

ClickHouse не тормозит

2020 July 23

S

Sergei in ClickHouse не тормозит
я, может, плохо смотрю... вижу, как пользователя создать on cluster, как гранты выдать on cluster, но как роль создать on cluster - не получается, пробовал

> CREATE ROLE some_role ON CLUSTER some_cluster;
> Received exception from server (version 20.3.12):
Code: 62. DB::Exception: Received from some_host:9000. DB::Exception: Syntax error: failed at position 23: ON CLUSTER some_cluster. Expected one of: token, At.

при этом
> create role some_role ON some_cluster;
> Expected CLUSTER
источник

VB

Vladimir Bunchuk in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
а это точно зк?  Я пострел на свои, я не вижу особой разницы лидер не лидер, по-моему они все одинаково должны писать логи и делать fsync
да, точно )
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Sergei
я, может, плохо смотрю... вижу, как пользователя создать on cluster, как гранты выдать on cluster, но как роль создать on cluster - не получается, пробовал

> CREATE ROLE some_role ON CLUSTER some_cluster;
> Received exception from server (version 20.3.12):
Code: 62. DB::Exception: Received from some_host:9000. DB::Exception: Syntax error: failed at position 23: ON CLUSTER some_cluster. Expected one of: token, At.

при этом
> create role some_role ON some_cluster;
> Expected CLUSTER
в 20.3 гранты неофициальный эксперимент (попробуйте 20.3.14.130 может туда вмержили)

в 20.7.1 вот такое работает CREATE ROLE some_role ON CLUSTER replicated
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Vladimir Bunchuk
да, точно )
а вот этот ssd это NVME ? А ядро какое?  Или это облако?
источник

VB

Vladimir Bunchuk in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
а вот этот ssd это NVME ? А ядро какое?  Или это облако?
не облако
но так далеко я не влезал )
пошел к девопсу
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Vladimir Bunchuk
не облако
но так далеко я не влезал )
пошел к девопсу
я посмотрел на свои числа sar -d и там
02:16:28 PM       DEV       tps  rd_sec/s  wr_sec/s  avgrq-sz  avgqu-sz     await     svctm     %util
02:16:29 PM   dev8-16    589.00      0.00   3560.00      6.04      0.01      0.02      0.02      1.20
02:16:29 PM    dev8-0    310.00      0.00    960.00      3.10      0.01      0.04      0.04      1.20
02:16:29 PM    dev9-0    756.00      0.00   4520.00      5.98      0.00      0.00      0.00      0.00

это обычный говно ssd которому лет 6
источник

WK

Wolf Kreuzerkrieg in ClickHouse не тормозит
Dj
т.е. вот мы знаем, что у нас парты в одной партиции где то 200-300Г бывают условно. Смело делаем в 1Г - т.е. его не останется по любому, а если останется, то 1Г не сильно перформанс испортит
как оказалось, на маленьких партах (~3Gb) замедление по перформансу от х2 до х7
нам пришлось откатить изменение
источник

VB

Vladimir Bunchuk in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
а вот этот ssd это NVME ? А ядро какое?  Или это облако?
raid 1 массив из двух обычных sata ssd дисков
без NVME
источник

D

Dj in ClickHouse не тормозит
Wolf Kreuzerkrieg
как оказалось, на маленьких партах (~3Gb) замедление по перформансу от х2 до х7
нам пришлось откатить изменение
ну это как минимум очень странно... по сути компакт парты это склеенные wide-парты... там пара доп. сиков от силы... может вы запрашивали много колонок одновременно? или баг какой... если воспроизведете с примером мы бы тоже посмотрели, и наверное тоже откатились....

охотно верю в 2-х, в 7-х уже как то сложно поверить
источник

WK

Wolf Kreuzerkrieg in ClickHouse не тормозит
Dj
ну это как минимум очень странно... по сути компакт парты это склеенные wide-парты... там пара доп. сиков от силы... может вы запрашивали много колонок одновременно? или баг какой... если воспроизведете с примером мы бы тоже посмотрели, и наверное тоже откатились....

охотно верю в 2-х, в 7-х уже как то сложно поверить
мне тоже это показалось странным, я и в два раза не очень понимаю почему должна упасть производительность. все то что я теряю на сиках я экономлю на опенах.
сам не видел, мне напели запускатели суровых квери. я показал как откатить, сказали что все стало как раньше. но да, это обычно не самые простые простые запросы которые бывают, с другой стороны, все равно не понятно, я попытаюсь добыть от них точный тайминг
источник

D

Dj in ClickHouse не тормозит
Wolf Kreuzerkrieg
мне тоже это показалось странным, я и в два раза не очень понимаю почему должна упасть производительность. все то что я теряю на сиках я экономлю на опенах.
сам не видел, мне напели запускатели суровых квери. я показал как откатить, сказали что все стало как раньше. но да, это обычно не самые простые простые запросы которые бывают, с другой стороны, все равно не понятно, я попытаюсь добыть от них точный тайминг
ну, будут детали, нам тоже будет интересно посмотреть... а то уже один раз укололись с багом на них...
источник

WK

Wolf Kreuzerkrieg in ClickHouse не тормозит
секунда... а когда баг был?
источник

WK

Wolf Kreuzerkrieg in ClickHouse не тормозит
я на 20.4.4
источник

D

Dj in ClickHouse не тормозит
Там баг был другой, не перфоманс, его пофиксили давно... в 20.3
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
если wide партов сотни и запросы короткие то конечно будет замедление, может просто из запроса исключить последние 10-20 минут?
источник

WK

Wolf Kreuzerkrieg in ClickHouse не тормозит
Dj
Там баг был другой, не перфоманс, его пофиксили давно... в 20.3
ок, я постараюсь достать детали
источник

WK

Wolf Kreuzerkrieg in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
если wide партов сотни и запросы короткие то конечно будет замедление, может просто из запроса исключить последние 10-20 минут?
а почему только 10-20 минут? чего их басурманов жалеть? :)
там не те запросы которые возвращаются за 0.01 секунду. типа, там разница 2 секунды и 10 секунд или 5 секунд и 30 секунд
источник

SL

Sergey Lossev in ClickHouse не тормозит
Есть какой-то способ заставить КХ объединять таблицы (UNION) с разным количеством столбцов и именами, чтобы общие столбцы объединял, а недостающие добавлял? Ну, то есть, как в Pandas
источник

SL

Sergey Lossev in ClickHouse не тормозит
Может, настройка какая есть...
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Sergey Lossev
Есть какой-то способ заставить КХ объединять таблицы (UNION) с разным количеством столбцов и именами, чтобы общие столбцы объединял, а недостающие добавлял? Ну, то есть, как в Pandas
нельзя
источник