Подскажите, что можно сделать с ошибкой DB::Exception: Possible deadlock avoided. Client should retry?

какая версия кх?

Поменял. Все ок. Спасибо!

А подскажите плз, может есть другой способ правильной работы с КХ в моем кейсе.

КХ используем для аналитики собственного продукта. Данных около 9ТБ за 2 года. Часто аналитикам нужно выполнять запросы за весь исторический период и на такие объемы данных со сложными запросами частенько может не хватать 128gb RAM. Скорость выполнения подобных больших запросов для нас не в приоритете и нам ок ждать хоть полчаса на его выполнение. Учитывая это, нормально вообще использовать Swap? Просто где бы я не смотрел — везде настоятельно рекомендуют выключать его на продакшене

Понимаю что все можно оптимизировать, сделать преагрегации данных и тд. Но на это нужно время и ресурсы, которых как всегда не хватает )

КХ умеет выполнять стадии запроса используя внешнюю память. Т.е. мне непонятно , не видя запроса, почему ваш запрос потребляет память. Я бы начал с того что установил в профиле default (для всех пользователей)
<max_bytes_before_external_group_by>64GB</max_bytes_before_external_group_by>
<max_bytes_before_external_sort>64GB</max_bytes_before_external_sort>

Привет!
Скажите, пожалуйста, есть ли в Clickhouse аналог  WITH ROLLUP ?

да with rollup

Странно, не нашёл этого в документации

ну сделайте тикет, это баг доки, либо не дописали вообще, либо потерялось, бывает.

Коллеги, подскажите пожалуйста, как сделать arrayJoin на несколько массивов.  Чтобы из этого массива(примера), был arrayJoin по полю client по всем спискам.

       SELECT 'a1' AS client, groupArray((['a1-a', 'a1-b', 'a1-c'], ['a1-ds', 'a1-as', 'a1-fg'])) AS goods UNION ALL

            SELECT 'a2', groupArray((['a2-a', 'a2-b', 'a2-c'], ['a2-ww', 'a2-www', 'a2-fwwww'])) AS goods UNION ALL

            SELECT 'a3' , groupArray((['a3-a', 'a3-ab', 'a3-c'], ['a3-ww', 'a3-www', 'a3-fwwww']))

да там много запросов подобных
Спасибо за опции. Завтра попробую с ними поиграть

сделал :)

фигня у вас какая-то массив в тупле, в массиве

select client, a, b 
from (
SELECT 'a1' AS client, groupArray((['a1-a', 'a1-b', 'a1-c'], ['a1-ds', 'a1-as', 'a1-fg'])) AS goods UNION ALL

            SELECT 'a2', groupArray((['a2-a', 'a2-b', 'a2-c'], ['a2-ww', 'a2-www', 'a2-fwwww'])) AS goods UNION ALL

            SELECT 'a3' , groupArray((['a3-a', 'a3-ab', 'a3-c'], ['a3-ww', 'a3-www', 'a3-fwwww'])))
array join goods[1].1 as a, goods[1].2 as b

спасибо!

делать retry , это специальная защита от deadlock
или апгрейдится в 20.4 , там эта проблема устранена на 99%

Всем привет, такой вопрос по масштабированию для кластера, в случае с КХ нужно добавлять машину или же можно обойтись дисками только? В доке нашел что рекомендуют брать машину с локальным диском, а не расширять рейд. Кто как делает?

*полки

Подскажите плиз, Кликхауз самостоятельно ребутается версия 19.5.3.1
2020.09.01 16:42:23.478664 [ 247 ] {} <Debug> MemoryTracker: Current memory usage: 1.01 GiB.
2020.09.01 16:42:25.028568 [ 162 ] {} <Debug> MemoryTracker: Current memory usage: 2.00 GiB.
2020.09.01 16:42:25.634373 [ 228 ] {} <Debug> MemoryTracker: Current memory usage: 3.00 GiB.
2020.09.01 16:42:26.444055 [ 135 ] {} <Debug> MemoryTracker: Current memory usage: 3.00 GiB.
2020.09.01 16:42:28.017426 [ 247 ] {} <Debug> MemoryTracker: Current memory usage: 4.00 GiB.
2020.09.01 16:42:28.646005 [ 135 ] {} <Debug> MemoryTracker: Current memory usage: 4.00 GiB.
2020.09.01 16:42:29.333125 [ 251 ] {} <Debug> MemoryTracker: Current memory usage: 5.03 GiB.
2020.09.01 16:42:30.408212 [ 135 ] {} <Debug> MemoryTracker: Current memory usage: 5.00 GiB.
2020.09.01 16:42:31.335347 [ 135 ] {} <Debug> MemoryTracker: Current memory usage: 6.00 GiB.
2020.09.01 16:42:32.427901 [ 90 ] {} <Debug> MemoryTracker: Current memory usage: 7.00 GiB.
2020.09.01 16:42:33.934863 [ 90 ] {} <Debug> MemoryTracker: Current memory usage: 8.00 GiB.
2020.09.01 16:42:34.280478 [ 144 ] {a35e2121-fece-4d8b-928d-0846c54ed5a4} <Debug> MemoryTracker: Peak memory usage (for query): 5.10 GiB.
2020.09.01 16:42:34.690567 [ 259 ] {} <Debug> MemoryTracker: Current memory usage: 9.00 GiB.
2020.09.01 16:42:35.340825 [ 120 ] {} <Debug> MemoryTracker: Current memory usage: 10.01 GiB.
2020.09.01 16:42:36.073872 [ 205 ] {} <Debug> MemoryTracker: Current memory usage: 11.00 GiB.
2020.09.01 16:42:36.715951 [ 176 ] {} <Debug> MemoryTracker: Current memory usage: 12.00 GiB.
2020.09.01 16:42:37.409627 [ 119 ] {} <Debug> MemoryTracker: Current memory usage: 13.01 GiB.

памяти на машине 32G