Size: a a a

ClickHouse не тормозит

2016 November 17

АК

Алексей Константинов in ClickHouse не тормозит
в итоге каждая группа юзеров в свой песочнице - если кто то плохо сделал, остальные пулы и юзеры от этого не страдают
источник

АК

Алексей Константинов in ClickHouse не тормозит
ну и до тучи отстрел запросов с очереди быстрого пула в более медленный не приоритетный и т.д., много всего, но имхо это уже от задач системы зависит, наверное КХ усложнять всем этим на текущем этапе не надо, только багов огрести можно
источник

АК

Алексей Константинов in ClickHouse не тормозит
очередь и все довольны :)
источник

/dev/urandon ¯\_(ツ)_/¯ in ClickHouse не тормозит
Алексей Константинов
когда ддосят всякие кубы, хадупы, а так же самописные системы, забивая глупыми  запросами и мешая остальным жить в системе, очень помогает
А если очередь с приоритетом брать (с ростом приоритета по времени ожидания).
Плюс машинное обучение завести бля борьбы со спамом?
Не дело же нужные запросы убивать.
источник

АК

Алексей Константинов in ClickHouse не тормозит
ну тут дело админа
источник

АК

Алексей Константинов in ClickHouse не тормозит
нужное количество конкурентов и ресурсов выставить
источник

АК

Алексей Константинов in ClickHouse не тормозит
это достигается путем анализа работы кластера, выявлением таких узких мест и постепенной балансировкой с помощью таких пулов
источник

АК

Алексей Константинов in ClickHouse не тормозит
пока минимальные и пиковые нагрузки разных групп юзеров не достигнут равновесия работы кластера
источник

АК

Алексей Константинов in ClickHouse не тормозит
не надо тут автомата, только хуже будет
источник

АК

Алексей Константинов in ClickHouse не тормозит
никто предугадать не может когда кто и зачем будет ддосить кластер
источник

АК

Алексей Константинов in ClickHouse не тормозит
пишутся правила на основании опыта работы кластера и дальше корректируются по мере внештатных отклонений
источник

АК

Алексей Константинов in ClickHouse не тормозит
очередь тоже забавная штука. есть аналитики, у них есть Вася, который любит слать огромные запросы. все под одним юзером. вот Вася шлет запрос, он занимает место в конкуренте, другие аналитики занимают свои места. Вася устал ждать и еще раз шлет запрос, а потом еще раз :)
источник

АК

Алексей Константинов in ClickHouse не тормозит
в итоге дикая очередь в пуле одних запросов одинаковых от Васи
источник

АК

Алексей Константинов in ClickHouse не тормозит
а другие звонят админу и говорят что кластер вообще у них не отзывается, все запросы просто висят и ничего не делают :)
источник

АК

Алексей Константинов in ClickHouse не тормозит
в Вертике Вася по времени будет если его запрос плохой в низкоприоритетный пул уводится и там уже с такими же горемыками сражаться за ресурсы, не мешая прочим :)
источник

DV

Dmitry Volodin in ClickHouse не тормозит
У ORACLE long running queries лет 100 как
источник

DV

Dmitry Volodin in ClickHouse не тормозит
на самом деле - нафиг не нужно
источник

DV

Dmitry Volodin in ClickHouse не тормозит
решается административно
источник

DV

Dmitry Volodin in ClickHouse не тормозит
и все говорят Васе спасибо
источник

AM

Alexey Milovidov in ClickHouse не тормозит
У нас есть наработки на эту тему: квоты, max_memory_usage_for_user, max_threads, priority, max_execution_time, min_execution_speed, force_primary_key и т. п.

И постоянно нужно больше способов что-нибудь как-нибудь ограничивать.

У нас приоритизация запросов от разных видов пользователей - очень актуальная проблема.

Вплоть до того, что хочется определять, что если запрос задан по крону или в бесконечном цикле из скрипта, то лучше его выполнять не особо при этом торопясь. Но такого не сделано.
источник