Size: a a a

ClickHouse не тормозит

2020 June 25

BB

Bral Bral in ClickHouse не тормозит
Dmitry Titov
Ну вообще должно, те же проверки на partition elimination. открывать лишние файлы и тд, все это не совсем бесплатно
Но ведь, по сравнению с другими задержками это незначительно ?
источник

DT

Dmitry Titov in ClickHouse не тормозит
Bral Bral
Но ведь, по сравнению с другими задержками это незначительно ?
А это другой вопрос)
Еще возможно какие то оптимизации завязанные на ORDER BY таблицы будут страдать, тк их нужно собирать из много маленьких ORDER BY
источник

BB

Bral Bral in ClickHouse не тормозит
Dmitry Titov
А это другой вопрос)
Еще возможно какие то оптимизации завязанные на ORDER BY таблицы будут страдать, тк их нужно собирать из много маленьких ORDER BY
Забавно. Резко увеличилось время ответа за запрос. Запрос простецкий - обычный селект по pk столбцу , в конце ордер бай по времени . Все лежит на 5-ти нодах, запрос идёт в дистрибутивную. Понятно, что может быть что угодно - сеть, диски и общая загруженность серверов , ну и ответ будет по самой медленной ноде. Есть ли какое-то средство , которое может выяснить причину :) а не самому смотреть на свопы, загрузки и прочее. В клиенте send-log-level = trace тоже толком ничего не показал .
источник

DT

Dmitry Titov in ClickHouse не тормозит
Bral Bral
Забавно. Резко увеличилось время ответа за запрос. Запрос простецкий - обычный селект по pk столбцу , в конце ордер бай по времени . Все лежит на 5-ти нодах, запрос идёт в дистрибутивную. Понятно, что может быть что угодно - сеть, диски и общая загруженность серверов , ну и ответ будет по самой медленной ноде. Есть ли какое-то средство , которое может выяснить причину :) а не самому смотреть на свопы, загрузки и прочее. В клиенте send-log-level = trace тоже толком ничего не показал .
можно взглянуть на время выполнение запросов который выполняются на каждом шарде. может какой то определенный задумался
источник

BB

Bral Bral in ClickHouse не тормозит
Dmitry Titov
можно взглянуть на время выполнение запросов который выполняются на каждом шарде. может какой то определенный задумался
Каким образом ? В логах ? Или можно все с 1 сервера достать
источник

DT

Dmitry Titov in ClickHouse не тормозит
Bral Bral
Каким образом ? В логах ? Или можно все с 1 сервера достать
в query_log
можно это сделать через cluster/clusterAll
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Bral Bral
Количество партов влияет как-то косвенно на скорость селекта ? Или только на время запуска сервера ?
да, если запрос обрабатывает 1000 партов вместо 1 скорость селекта может отличаться в 50 раз, зависит от наргузки на диски, от самих дисков, nvme еще терпимо
источник

BB

Bral Bral in ClickHouse не тормозит
Ага, и их уменьшать насильно только через optimize table, а это лучше застрелиться .
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Bral Bral
Ага, и их уменьшать насильно только через optimize table, а это лучше застрелиться .
ну 3000 партов, это из-за partition by таблицы
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
не факт что их можно смержить
источник

BB

Bral Bral in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
ну 3000 партов, это из-за partition by таблицы
Есть её копия, но ордер бай по другому полю - там около 700.
источник

AT

Al T in ClickHouse не тормозит
Vladimir Bunchuk
да я тоже так делаю)

меня очень аналитики наши просят
говорят что им неудобно )
а вы такой - неудобно штаны через голову надевать.
источник

VB

Vladimir Bunchuk in ClickHouse не тормозит
Al T
а вы такой - неудобно штаны через голову надевать.
примерно на этом и сошлись )
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Vladimir Bunchuk
Ребят, а в КХ можно как-то джоинить Int поля разной размерности друг на друга без приведения к общему типу?
например Int32 на Int64 ?
касты затормаживают, т.е. toInt64() -- тоже небесплатная и перекладывает с места на место в памяти, я планирую у себя избавится от всех tuple(toInt32( и перейти на UInt64 в таблицах
источник

AK

Alexey Kostarev in ClickHouse не тормозит
Al T
надо идти на гитхаб и читать тесты
Я рад, что у создателя все получилось, Меня же  больше интересует теория -  что означает GroupSum .
Каким образом производится    агрегация временных рядов в которых не совпадают моменты
Так сходу по циферкам трудно что-то понять.
Пару бы графиков временных рядов с входными и выходными данными.
источник

p

pv in ClickHouse не тормозит
Alexey Kostarev
Я рад, что у создателя все получилось, Меня же  больше интересует теория -  что означает GroupSum .
Каким образом производится    агрегация временных рядов в которых не совпадают моменты
Так сходу по циферкам трудно что-то понять.
Пару бы графиков временных рядов с входными и выходными данными.
Вроде в доке об этом написано
агрегирует временные ряды в которых не совпадают моменты.
Функция использует линейную интерполяцию между двумя значениями времени, а затем суммирует значения для одного и того же момента (как измеренные так и интерполированные) по всем рядам.
 Или вы как-то хотите "глубже"? Возможно тогда вообще только в код надо будет смотреть )
источник

MK

Max Khlystov in ClickHouse не тормозит
скажите пожулуйста как работает POPULATE AS в MATERIALIZED VIEW. что будет если я условно стартану этот процесс на табличке 1.5 млрд
источник

AK

Alexey Kostarev in ClickHouse не тормозит
Max Khlystov
скажите пожулуйста как работает POPULATE AS в MATERIALIZED VIEW. что будет если я условно стартану этот процесс на табличке 1.5 млрд
Все зависит от размера и числа полей в SELECT  и совпадает ли ORDER BY у исходной и мат таблицы
источник

SK

Shmuel K in ClickHouse не тормозит
what is 'smspva'?
источник

AK

Alexey Kostarev in ClickHouse не тормозит
pv
Вроде в доке об этом написано
агрегирует временные ряды в которых не совпадают моменты.
Функция использует линейную интерполяцию между двумя значениями времени, а затем суммирует значения для одного и того же момента (как измеренные так и интерполированные) по всем рядам.
 Или вы как-то хотите "глубже"? Возможно тогда вообще только в код надо будет смотреть )
Ну проще мне увидеть это на графиках
Но трижды почитав текст кажется  начинаю въезжать 😊
источник