Телеграмм чат группы clickhouse

2020 June 04

K

Конфиг выглядит так:
tickTime=2000
initLimit=10
syncLimit=5
dataDir=/opt/zookeeper/data
clientPort=2181
autopurge.snapRetainCount=10

источник

17:40пожаловаться #1

DC

Denny Crane (I don't... in ClickHouse не тормозит

Alexey Kostarev

Жаль. Говорят в vertica есть
Придется поддерживать данный механизм на уровне приложения.

в vertic-е проекции связаны с таблицей, точнее проекции это обрезок суперпроекции, а в КХ MV может хранить данных больше или меньше чем в таблице, т.е. они не связаны жестко, например в таблице может быть год данных, а в MV за неделю, и нигде это не описано, поэтому впрямую нельзя переписывать запросы

источник

17:40пожаловаться #2

DC

Denny Crane (I don't... in ClickHouse не тормозит

Kid

Добрый день. ЗК работал себе и работал, но в один момент резко выросла нагрузка на cpu(average load) в 5 раз. И не отпускает. С чем может быть связано?

и в КХ новых таблиц не создавали?

источник

17:41пожаловаться #3

K

Kid in ClickHouse не тормозит

Denny Crane (I don't work at Yandex (never did))

и в КХ новых таблиц не создавали?

нет, просто работали рядовые вставки

источник

17:41пожаловаться #4

DC

Denny Crane (I don't... in ClickHouse не тормозит

Vitaly

Добрый день, есть 2 реплики ClickHouse, как правильно поднять 3 реплику, без остановки существующих? при rsync, данные которые появятся во время работы rsync доедут до 3 реплики после ее старта?

если движок Replicated то он скачает сам после create table (rsync вообще конкретно ничем не поможет в случае Replicated)

источник

17:43пожаловаться #5

K

Kid in ClickHouse не тормозит

Denny Crane (I don't work at Yandex (never did))

и в КХ новых таблиц не создавали?

zk на отдельной виртуалке стоит

источник

17:45пожаловаться #6

DC

Denny Crane (I don't... in ClickHouse не тормозит

Kid

zk на отдельной виртуалке стоит

не знаю, может инсертов стало больше? что в логах ЗК?

а может garbage collector,

сколько размер одного снепшот файлика?
сколько озу у серверa?
как запущена java zk XMX ...?

источник

17:47пожаловаться #7

K

Kid in ClickHouse не тормозит

Denny Crane (I don't work at Yandex (never did))

не знаю, может инсертов стало больше? что в логах ЗК?

а может garbage collector,

сколько размер одного снепшот файлика?
сколько озу у серверa?
как запущена java zk XMX ...?

инсертов не стало больше
пробовали перезапустить зк - логи только новые и там все ок, с момента запуска только INFO были и все.
файл снэпшота - 1.5мб
ОЗУ 10 ГБ

источник

17:58пожаловаться #8

K

Kid in ClickHouse не тормозит

Denny Crane (I don't work at Yandex (never did))

не знаю, может инсертов стало больше? что в логах ЗК?

а может garbage collector,

сколько размер одного снепшот файлика?
сколько озу у серверa?
как запущена java zk XMX ...?

java zk xmx дефолтно запущено. Никаких настроек доп не было

источник

18:22пожаловаться #9

DC

Denny Crane (I don't... in ClickHouse не тормозит

Kid

java zk xmx дефолтно запущено. Никаких настроек доп не было

ну не знаю, идеи кончились, включить логи в КХ в trace и смотреть кто долбит, гуглить как найти кто виноват в высокой нагрузке на ЗК

источник

18:24пожаловаться #10

K

Kid in ClickHouse не тормозит

Denny Crane (I don't work at Yandex (never did))

ну не знаю, идеи кончились, включить логи в КХ в trace и смотреть кто долбит, гуглить как найти кто виноват в высокой нагрузке на ЗК

понял, ок. спасибо за помощь

источник

18:25пожаловаться #11

K

Kid in ClickHouse не тормозит

Еще такой вопрос, что означает число watcher зукипера?

источник

18:27пожаловаться #12

D

Dj in ClickHouse не тормозит

Alexey Kostarev

Жаль. Говорят в vertica есть
Придется поддерживать данный механизм на уровне приложения.

сделайте импрувмент реквест для КХ, это будет вполне возможно запилом улучшенного merge engine, которому можно правила/полиси прокидывать =) и будет круче чем в вертике...

источник

19:01пожаловаться #13

DT

Dmitry Titov in ClickHouse не тормозит

Dj

сделайте импрувмент реквест для КХ, это будет вполне возможно запилом улучшенного merge engine, которому можно правила/полиси прокидывать =) и будет круче чем в вертике...

есть же уже в роадмапе на 2020 год?

источник

19:03пожаловаться #14

А

А in ClickHouse не тормозит

Denny Crane (I don't work at Yandex (never did))

View сделайте в mssql которое выбирает из хр.

Как сделать, не понятно. Через связный сервер? Или как?

источник

19:05пожаловаться #15

D

Dj in ClickHouse не тормозит

Dmitry Titov

есть же уже в роадмапе на 2020 год?

не вижу

источник

19:08пожаловаться #16

DT

Dmitry Titov in ClickHouse не тормозит

несколько физических представлений для кусков, несколько ORDER BY для кусков не оно?

источник

19:09пожаловаться #17

D

Dj in ClickHouse не тормозит

А

Как сделать, не понятно. Через связный сервер? Или как?

view нельзя на ХР натягивать вроде, а на table-function можно

CREATE FUNCTION dbo.FnTable
RETURNS TABLE AS
RETURN (
  SELECT * FROM mytable
)

CREATE VIEW dbo.MyView AS SELECT * FROM FnTable;

источник

19:09пожаловаться #18

D

Dj in ClickHouse не тормозит

Dmitry Titov

несколько физических представлений для кусков, несколько ORDER BY для кусков не оно?

увидел )

1.16. Несколько физических представлений для одного куска данных 
Сложная задача, только после 1.3 и 1.6. Позволяет компенсировать 21.20.

имхо merge реализация в разы проще, и позволит более гибкие полиси прописывать

источник

19:11пожаловаться #19

DT

Dmitry Titov in ClickHouse не тормозит

я от этой штуки надеюсь, что они прикрутят более твердую консистентость

источник

19:12пожаловаться #20