Size: a a a

ClickHouse не тормозит

2020 July 15

Д

Дмитрий in ClickHouse не тормозит
item_id объявлена как строка переменной длины
источник

D

Dj in ClickHouse не тормозит
Дмитрий
item_id объявлена как строка переменной длины
Select * from system.columns

Найдите размер на диске. И сколько у вас потоков (ядер) на сервере?
источник

D

Dj in ClickHouse не тормозит
Дмитрий
а как можно ускорить выполнение запроса в принципе? Какие конфиг-параметры СУБД могут помочь в этом?
запустите запрос
select count(distinct item_id) from table_1 Format Null

в консоли клиента. он в конце напишет скорость сканирования и время выполнения... можно будет хотя бы представить во что оно упирается...

но нужно понимать, кардинально сильно ничего не улучшится скорее всего... вам все равно надо читать всю колонку с диска
источник

D

Dmitry in ClickHouse не тормозит
Коллеги, привет

Подскажите, насколько стабильны версии 20.3.9.70 и 20.4.7.67 (или 20.4.что-то ещё)?
источник

D

Dj in ClickHouse не тормозит
Dmitry
Коллеги, привет

Подскажите, насколько стабильны версии 20.3.9.70 и 20.4.7.67 (или 20.4.что-то ещё)?
пользуем 20.3.х, полет ок. само по себе вроде падать перестало, но если что-то трогать, та ещё лотерея )
источник

Е

Екатерина in ClickHouse не тормозит
Екатерина
здравствуйте, товарищи! на версии 20.4.5.36 столкнулась с ситуацией, когда при вставке в Distributed таблицу записи через мат. вью должны вставляться в другую таблицу, так вот, если мат. вью при срабатывании выдает ошибку, в частности неправильный формат вставляемого значения, то в Distributed  таблице данные множатся,  и в локальных таблицах, соответственно, тоже, есть догадки, почему такое может происходить? в версии 20.1 такого не наблюдалось
что, никто не сталкивался? ( получается, как-будто, распределенная таблица, не получая инфу о том, что блок данных успешно передан на узел - пытается отсылать один тот же блок множество раз, тем самым размножая данные, помогите!
источник

D

Dmitry in ClickHouse не тормозит
Dj
пользуем 20.3.х, полет ок. само по себе вроде падать перестало, но если что-то трогать, та ещё лотерея )
Ничего себе, а что раньше у вас стояло? У нас пока не было версий КХ, которые регулярно падали бы
источник

D

Dj in ClickHouse не тормозит
Vokeven
Вряд ли таблица С поместислась бы в памяти, если бы она считалась правой?
да, тогда вы правы. запускайте свой запрос с трейсом и пишите че там интересного... в конце концов всегда можно сделать partial_merge join. тормозит, но отрабатывает
источник

D

Dmitry in ClickHouse не тормозит
Dmitry
Ничего себе, а что раньше у вас стояло? У нас пока не было версий КХ, которые регулярно падали бы
Что от трогания, что сами)
источник

D

Dj in ClickHouse не тормозит
Dmitry
Что от трогания, что сами)
раньше КХ не было и жизнь была проще, а вообще 19.х было, но мы хотели несколько фич из 20
источник

Д

Дмитрий in ClickHouse не тормозит
Dj
Select * from system.columns

Найдите размер на диске. И сколько у вас потоков (ядер) на сервере?
в сжатом виде: 25 Гб, в несжатом почти 100 Гб, 4 CPU и 15 ГБ RAM
источник

D

Dj in ClickHouse не тормозит
Дмитрий
в сжатом виде: 25 Гб, в несжатом почти 100 Гб, 4 CPU и 15 ГБ RAM
при запросе все 4 CPU 100%?
источник

Д

Дмитрий in ClickHouse не тормозит
да
источник

D

Dj in ClickHouse не тормозит
Дмитрий
в сжатом виде: 25 Гб, в несжатом почти 100 Гб, 4 CPU и 15 ГБ RAM
и сколько запрос выполняется по времени? если 25 ГБ по 100МБ/с читать - будет 4-5 мин все равно...
источник

D

Dj in ClickHouse не тормозит
но у вас упирается в процессоры... увеличьте - будет быстрее
источник

D

Dj in ClickHouse не тормозит
либо убейте компрессию если диски НВМе
источник

D

Dj in ClickHouse не тормозит
но опять таки, фундаментальных улучшений не ждите
имхо... вам надо aggregatingMT и предрассчитывать
источник

D

Dmitry in ClickHouse не тормозит
Dj
раньше КХ не было и жизнь была проще, а вообще 19.х было, но мы хотели несколько фич из 20
кх от хорошей жизни не используют, факт
спасибо)
источник

D

Dj in ClickHouse не тормозит
Dmitry
Ничего себе, а что раньше у вас стояло? У нас пока не было версий КХ, которые регулярно падали бы
падало от
компакт парт
ТТЛ
АЛЬТЕР добавление/убирание колонок (дедлок)

но - единичные случаи, решается "процессами"
источник

E

Elena in ClickHouse не тормозит
Dj
max_concurrent_queries_for_user

можете выставить в 1.
но остальные запросы будут не ждать а падать с ошибкой насколько я понимаю
Извините за беспокойство, но мои коллеги пишут:
"max_concurrent_queries_for_user - не вижу такой настройки в кликхаусе
есть просто max_concurrent_queries но она нам не поможет"

Я прям дико извиняюсь *сама бы себе отправила в гугл*, но я даже не думала, что мне придется разбираться в настройках баз, а вопрос прям срочный.

Вы не уделите мне еще немного внимания?
Заодно если посоветуйте курсы по базам, которые могут поставить основу понимания, буду благодарна. Попрошу работодателя организовать, чтоб поменьше дергать других людей, помогающих на добрых началах
источник