AS
Gulshan Agivetova
некоторые таблицы объединяются left join'Ом, и получается типа cartesian product.....
В тех таблицах тоже метрики, или это таблицы измерений?
Size: a a a
2021 January 27
GA
В тех таблицах тоже метрики, или это таблицы измерений?
Есть метрики и slowly changing dimentions (т.е измерения с историей)
AS
Таблицы с измерениями можно завернуть через getDict, таблицы с метриками можно через CTE частично предагрегировать (если возможно).
GA
Таблицы с измерениями можно завернуть через getDict, таблицы с метриками можно через CTE частично предагрегировать (если возможно).
CTE - это что?
AS
Gulshan Agivetova
CTE - это что?
GA
Таблицы с измерениями можно завернуть через getDict, таблицы с метриками можно через CTE частично предагрегировать (если возможно).
по поводу getDict - так как они исторические, получается ключ необходимо делать составной с датой?
AS
Как вариант, но это при условии если из не сильно много, чтобы в кеше все помещалось
GA
а если большие , то что можно сделать?
MV
Gulshan Agivetova
а если большие , то что можно сделать?
GA
Спасибо большое! Поизучаю!
GA
IA
Добрый день! Подскажите, плз, можно ли как-то регулировать интенсивность выполнения мутаций? Сейчас, при запуске одной умеренно тяжелой мутации, КХ, на сколько я понимаю, делает ее параллельно для нескольких партов, нагрузка на сервер сильно возрастает, и обычным запросам не хватает памяти, да и сами мутации изредка тоже фейлятся с нехваткой памяти.
S
Добрый день! Подскажите, плз, можно ли как-то регулировать интенсивность выполнения мутаций? Сейчас, при запуске одной умеренно тяжелой мутации, КХ, на сколько я понимаю, делает ее параллельно для нескольких партов, нагрузка на сервер сильно возрастает, и обычным запросам не хватает памяти, да и сами мутации изредка тоже фейлятся с нехваткой памяти.
background_schedule_pool_size уменьшите в /etc/clickhouse-server/users.d/background_scheduled_pool_size.xml
они диск жрут
потребуется сервер рестартануть
<yandex>вообще как бы merge и мутации никакой особой памяти не занимают (ну буфера на чтение и распаковку где то мегабайт на 1 колонку и зависит от формата part)
<profiles>
<default>
<background_schedule_pool_size>2</background_schedule_pool_size>
<background_pool_size>2</background_pool_size>
</default>
</profiles>
</yandex>
они диск жрут
потребуется сервер рестартануть
S
Добрый день! Подскажите, плз, можно ли как-то регулировать интенсивность выполнения мутаций? Сейчас, при запуске одной умеренно тяжелой мутации, КХ, на сколько я понимаю, делает ее параллельно для нескольких партов, нагрузка на сервер сильно возрастает, и обычным запросам не хватает памяти, да и сами мутации изредка тоже фейлятся с нехваткой памяти.
сколько памяти и CPU ядер на сервере?
IA
сколько памяти и CPU ядер на сервере?
128гб, 48 логических ядра
IA
background_schedule_pool_size уменьшите в /etc/clickhouse-server/users.d/background_scheduled_pool_size.xml
они диск жрут
потребуется сервер рестартануть
<yandex>вообще как бы merge и мутации никакой особой памяти не занимают (ну буфера на чтение и распаковку где то мегабайт на 1 колонку и зависит от формата part)
<profiles>
<default>
<background_schedule_pool_size>2</background_schedule_pool_size>
<background_pool_size>2</background_pool_size>
</default>
</profiles>
</yandex>
они диск жрут
потребуется сервер рестартануть
в system.mutations.latest_fail_reason в процессе видел ошибки вида "не могу выделить 1-10гб"
IA
спасибо за background_schedule_pool_size, буду пробовать
но если такого вообще быть не должно, то в эту сторону копать конечно перспективнее
но если такого вообще быть не должно, то в эту сторону копать конечно перспективнее
S
128гб, 48 логических ядра
тогда у вас проблема не в мутациях
памяти для них навалом
смотрите сколько памяти жралось в system.query_log по времени ошибок из latest_fail_time
памяти для них навалом
смотрите сколько памяти жралось в system.query_log по времени ошибок из latest_fail_time
S
спасибо за background_schedule_pool_size, буду пробовать
но если такого вообще быть не должно, то в эту сторону копать конечно перспективнее
но если такого вообще быть не должно, то в эту сторону копать конечно перспективнее
не надо, я думал у вас памят 4 гига
IA
понял. мутацию запускаем в свободное время, запросов вроде в это время вообще нет, но спасибо за наводку, буду смотреть детальнее