В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

ClickHouse не тормозит

3930 membersпожаловаться на группу
2020 May 25

GS

George Shuklin in ClickHouse не тормозит
... У меня дискуссия с программистами о том, нужно ли под кликхаус сервер с большим количеством памяти. Проблема в том, что ни они, ни я в вопросе не разбирались. Есть ли что-то, с чего можно начать разбираться? (Сейчас на сервере 8Гб и иногда прилетают алерты по нехватке памяти от мониторинга).
источник
16:25пожаловаться#1

l

lnuynxa in ClickHouse не тормозит
George Shuklin
... У меня дискуссия с программистами о том, нужно ли под кликхаус сервер с большим количеством памяти. Проблема в том, что ни они, ни я в вопросе не разбирались. Есть ли что-то, с чего можно начать разбираться? (Сейчас на сервере 8Гб и иногда прилетают алерты по нехватке памяти от мониторинга).
8гб это так поигратся, желательно от 64гб
источник
16:26пожаловаться#2

ЕА

Егор Андреевич... in ClickHouse не тормозит
зависит от того как пользоваться, какие данные и какие объемы
источник
16:26пожаловаться#3

ЕА

Егор Андреевич... in ClickHouse не тормозит
порой на 1 запрос 8 гб мало
источник
16:27пожаловаться#4

A

Andrey in ClickHouse не тормозит
George Shuklin
... У меня дискуссия с программистами о том, нужно ли под кликхаус сервер с большим количеством памяти. Проблема в том, что ни они, ни я в вопросе не разбирались. Есть ли что-то, с чего можно начать разбираться? (Сейчас на сервере 8Гб и иногда прилетают алерты по нехватке памяти от мониторинга).
Объемы данных какие у вас?
источник
16:27пожаловаться#5

DC

Denny Crane (I don't... in ClickHouse не тормозит
George Shuklin
... У меня дискуссия с программистами о том, нужно ли под кликхаус сервер с большим количеством памяти. Проблема в том, что ни они, ни я в вопросе не разбирались. Есть ли что-то, с чего можно начать разбираться? (Сейчас на сервере 8Гб и иногда прилетают алерты по нехватке памяти от мониторинга).
Изначально КХ писался под Я., где у серверов было 128+, поэтому все задизайнено без учета что кто-то будет пытаться гонять КХ на 8.
Можно затюнить и на 8. Но всегда будет оставаться шанс что два одновременных запроса уложат КХ с ООМ

У вас ведь нет проблемы с серверами, воткните 32 и всего делов
источник
16:27пожаловаться#6

GS

George Shuklin in ClickHouse не тормозит
Кликхаус хочет ответ целиком в памяти держать? Объёмы порядка 20Гб, которые обновляются на 50% за день, плюс запрос, которые эти 20Гб шуршит довольно сильно. (Поминутно обновляемая статистика за два дня из которой выбираются лидеры в каждой группе)
источник
16:28пожаловаться#7

GS

George Shuklin in ClickHouse не тормозит
Я даже не про конкретные ручки, которые покрутить, а про всю теорию того, как CH использует память. Например, он умеет обрабатывать запрос не целиком, а кусками?
источник
16:29пожаловаться#8

l

lnuynxa in ClickHouse не тормозит
George Shuklin
Кликхаус хочет ответ целиком в памяти держать? Объёмы порядка 20Гб, которые обновляются на 50% за день, плюс запрос, которые эти 20Гб шуршит довольно сильно. (Поминутно обновляемая статистика за два дня из которой выбираются лидеры в каждой группе)
он и обрабатывает по кускам, но ведь рано или поздно нужно будет объединять запрос
источник
16:30пожаловаться#9

l

lnuynxa in ClickHouse не тормозит
Ну и он очень сильно параллелит обработку, спокойно может выжрать 64 потока на 100%
источник
16:30пожаловаться#10

GS

George Shuklin in ClickHouse не тормозит
С 32Гб проблема в том, что данных планируется больше, и начиная с 64Гб стоимость серверов начинает расти не совсем линейно. А локаций (откуда данные собираются) планируется дофига. Я не хочу оказаться в ситуации, когда мне нужно искать сервер с терабайтом оперативки только потому, что вовремя не подумал.
источник
16:30пожаловаться#11

GS

George Shuklin in ClickHouse не тормозит
(жизненный принцип - никогда не давать больше памяти, пока не поймёшь, зачем. Иначе потом попросят петабайт).
источник
16:31пожаловаться#12

DC

Denny Crane (I don't... in ClickHouse не тормозит
George Shuklin
Я даже не про конкретные ручки, которые покрутить, а про всю теорию того, как CH использует память. Например, он умеет обрабатывать запрос не целиком, а кусками?
да, умеет. Проблема в том что наприм есть кеш индекса и он раздувается до 5ГБ по дефолту, поэтому надо в config.xml <mark_cache_size>1073741824</mark_cache_size> , или например запрос обрабатывает данные кусками по 65к строк и читает пишет через большие буферы, таким образом что select * from limit 1 который стримается, потребует буферов, больше чем 4ГБ.
источник
16:31пожаловаться#13

DC

Denny Crane (I don't... in ClickHouse не тормозит
George Shuklin
С 32Гб проблема в том, что данных планируется больше, и начиная с 64Гб стоимость серверов начинает расти не совсем линейно. А локаций (откуда данные собираются) планируется дофига. Я не хочу оказаться в ситуации, когда мне нужно искать сервер с терабайтом оперативки только потому, что вовремя не подумал.
С 64 уже можно обрабатывать практически любые объемы, все будет стриматься (и все будет быстро кроме джойнов больших таблиц)
источник
16:33пожаловаться#14

GS

George Shuklin in ClickHouse не тормозит
Т.е. как я понял из ответов, у CH есть большое количество собственного lore, которое не o(число данных). В начале памяти надо непропорционально много, а потом ему легче.
источник
16:34пожаловаться#15

DC

Denny Crane (I don't... in ClickHouse не тормозит
George Shuklin
Т.е. как я понял из ответов, у CH есть большое количество собственного lore, которое не o(число данных). В начале памяти надо непропорционально много, а потом ему легче.
да
источник
16:34пожаловаться#16

GS

George Shuklin in ClickHouse не тормозит
(Я чувствую себя не очень комфортно с сервером у которого 64Гб оперативки под 20Гб базу :)
источник
16:34пожаловаться#17

AM

Alexander Malikov in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
вы можете попробовать, но будет глючить. Вам разово надо чтобы налить реплику?
а вообще, есть альтернативные способы реплику заполнить?
например, погасить одну из живых, ринкануть данные
так сработает?
источник
16:34пожаловаться#18

GS

George Shuklin in ClickHouse не тормозит
Спасибо.
источник
16:34пожаловаться#19

DC

Denny Crane (I don't... in ClickHouse не тормозит
George Shuklin
(Я чувствую себя не очень комфортно с сервером у которого 64Гб оперативки под 20Гб базу :)
ну это на диске 20ГБ, а если разжать? Можно затюнить и на 8ГБ, надо просто время тратить и разбираться как это сделать в вашем конкретном случае.
Ну и есть якобы пользователи у которых и на 4ГБ продакшин, но видимо у них очень прямые руки.
источник
16:37пожаловаться#20