n
всем привет, а какой от процента всей памяти ставите в max_memory_usage ?
Size: a a a
2020 June 16
DC
и почему вообще есть ограничение на количество партишенов? на что это влияет?
на скорость селектов, если селекту надо сходит в 1000 партиций, значит надо открыть 10ки тысяч файлов, это 10ки тысяч random i/o операций, один HDD дает 200 в сек., поэтому запросы будут тормозить, из-за того что надо переставлять головы HDD
IB
Следующий онлайн ClickHouse митап уже послезавтра вечером!
https://events.yandex.ru/events/click-house-onlajn-vs-18-06-2020
https://events.yandex.ru/events/click-house-onlajn-vs-18-06-2020
SD
на скорость селектов, если селекту надо сходит в 1000 партиций, значит надо открыть 10ки тысяч файлов, это 10ки тысяч random i/o операций, один HDD дает 200 в сек., поэтому запросы будут тормозить, из-за того что надо переставлять головы HDD
а если селекту нужно ходить всегда в небольшое количество партиций
DC
всем привет, а какой от процента всей памяти ставите в max_memory_usage ?
если у меня максимум 3 запроса выполняются одновременно, я ставлю половину
n
если у меня максимум 3 запроса выполняются одновременно, я ставлю половину
а в виду чего половину ?
DC
а если селекту нужно ходить всегда в небольшое количество партиций
тогда почти не влияет, но много тонкостей, например время старта, размер зукипера, кол-во логов зукипера, прунинг анализ
ооо, вот о чем можно сделать доклад, спасибо за идею
ооо, вот о чем можно сделать доклад, спасибо за идею
SD
круто, и тебе спасибо
DC
всем привет, а какой от процента всей памяти ставите в max_memory_usage ?
ну если оперативки 100ГБ, то max_memory_usage=50
n
ну если оперативки 100ГБ, то max_memory_usage=50
а почему не как в случае с mysql innodb_buffer_pool_size в 80 % ?
DC
а почему не как в случае с mysql innodb_buffer_pool_size в 80 % ?
эээ, это вообще о разном. Вы сравнили вкус спирта и невесомости
DC
innodb_buffer_pool_size -- это сколько памяти отдать под кеш диска, в КХ такого параметра нет
SD
Еще вопрос, я заметил, что если мутациями удалять данные, то остаются партишены пустые
DC
max_memory_usage -- сколько памяти может использовать запрос, эта память как раз не может использоваться по кеш диска
SD
я правильно понимаю, что это ожидаемое поведение и нужно использовать optimize table для таких кейсов
SD
который не работает для 20.4?)
DC
Еще вопрос, я заметил, что если мутациями удалять данные, то остаются партишены пустые
ну мутации не для того чтобы чистить партиции, поэтому так
DC
который не работает для 20.4?)
что?
DC
я правильно понимаю, что это ожидаемое поведение и нужно использовать optimize table для таких кейсов
drop partition надо использовать и мутации тогда не нужны
SD
Значит какой-то баг в 20.4
вот