Телеграмм чат группы clickhouse

Size: a a a

ClickHouse не тормозит

2020 September 06

при большом кол-ве кусков сколько мержей идет одновременно? select * from system.merges
трешхолд 300 можно изменить например на 900

Не смотрел. Поменять настройку можно, но думал эти 300 там не просто так дефолтные

источник

18:44пожаловаться #1

Gleb in ClickHouse не тормозит

Denny Crane [not a Yandex bot]

Hw рейды (карточки до 3к баксов) говнище. mdaraid их делает как стоячих на профиле нагрузки кх. Дисковые массивы это другой разговор.

Подскажите
Как лучше сконфигурировать диски на кластере в 10+10 узлов ( каждый состоит из 12дисков nlsas + 2 nwme)

источник

19:24пожаловаться #2

Gleb in ClickHouse не тормозит

Сейчас использую контроллер lsi и 12 дисков в 10raid.
2nwme хотелось бы на буферизацию ввода/вывода

источник

19:26пожаловаться #3

Gleb in ClickHouse не тормозит

Можно ли использовать софтовый рейд с возможностью кешировать данные на nwme?

источник

19:29пожаловаться #4

Dmitry Titov in ClickHouse не тормозит

Gleb

Сейчас использую контроллер lsi и 12 дисков в 10raid.
2nwme хотелось бы на буферизацию ввода/вывода

Некоторые фс позволяют иметь накопители под кэш

источник

20:18пожаловаться #5

Dmitry Titov in ClickHouse не тормозит

Если мы говорим про ext4 и мдадм, то не знаю но кладет ли Линукс в свап файловый кэш

источник

20:19пожаловаться #6

Dmitry Titov in ClickHouse не тормозит

Можно силами кликхауса на нвме положить отдельные таблицы и допустим партицию за последний месяц

источник

20:20пожаловаться #7

Gleb in ClickHouse не тормозит

Хотелось бы writeback эмитировать как на хороших контроллерах

источник

20:20пожаловаться #8

Gleb in ClickHouse не тормозит

Dmitry Titov

Можно силами кликхауса на нвме положить отдельные таблицы и допустим партицию за последний месяц

По примеру с cuda (cloudera) там можно для WAL выделить отдельный том ssd на каждом сервере

источник

20:21пожаловаться #9

Gleb in ClickHouse не тормозит

Вот бы аналогичную возможность иметь в clickhouse

источник

20:23пожаловаться #10

Dmitry Titov in ClickHouse не тормозит

Gleb

По примеру с cuda (cloudera) там можно для WAL выделить отдельный том ssd на каждом сервере

Ну, можешь посмотреть на storage policy в кх, но это не совсем то, что ты хочешь

источник

20:24пожаловаться #11

Gleb in ClickHouse не тормозит

Хотелось бы по Максимум использовать возможности nwme+nlsas для clickhouse

источник

20:26пожаловаться #12

Gleb in ClickHouse не тормозит

Сейчас в продаже есть контроллеры lsi MR9460-16i с опцией CacheCade2
Она позволяет радикально ускорить ввод и вывод на nlsas дисках.
Однако это дорогое удовольствие

источник

20:32пожаловаться #13

Oleg Ginzburg in ClickHouse не тормозит

Вячеслав

Сразу на 20.7.2.30. Попробовал применить. Перестало собираться. Может я что делаю не так?

https://github.com/olevole/fbsd-ports/tree/master/databases/clickhouse/files

вот эти патчи по идее должны вставать, попробуй положить в databases/clickhouse (ну или мою репу счекауть: git clone https://github.com/olevole/fbsd-ports.git ) и пересобрать. Если ок - волью в порты, пока в апстриме не поправят.

источник

20:35пожаловаться #14

Вячеслав in ClickHouse не тормозит

Спасибо! Буду пробовать. По результатам обязательно отпишусь.

источник

20:36пожаловаться #15

Gleb in ClickHouse не тормозит

Dmitry Titov

Ну, можешь посмотреть на storage policy в кх, но это не совсем то, что ты хочешь

Вы плане на 2020
Есть пункт
1.7. Буферизациях и wal in mergetree

источник

20:54пожаловаться #16