Size: a a a

ClickHouse не тормозит

2020 August 06

DC

Denny Crane (I don't... in ClickHouse не тормозит
Евгений Гордеев
Даже когда оно ТО?
исходная таблица -- это таблица которая написана в SELECT FROM исходная
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
конечно исходную MV вообще не читает в случае TO
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Разница TO и без TO, только в том куда триггер делает инсерт, либо в готовую таблицу либо в самосозданную .inner.mvname

все это можно переделать из одного в другое, это просто обычные таблицы и sql файлы
источник

ЕГ

Евгений Гордеев... in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
Разница TO и без TO, только в том куда триггер делает инсерт, либо в готовую таблицу либо в самосозданную .inner.mvname

все это можно переделать из одного в другое, это просто обычные таблицы и sql файлы
Ясно. Еще такой вопрос  - если у меня реплекейтед таблица, и я матвью навешу, которое без ТО, оно будет хавать инсерты которые прилетят через зукипер? (допустим нода отвалилась, прошли инсерты, потом нода поднялась - очередь пустая, но есть новые парты)
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
populate -- делает крайне тупую вещь, insert into .inner.mvname select который в MV, тупость в том что памяти может не хватить
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Евгений Гордеев
Ясно. Еще такой вопрос  - если у меня реплекейтед таблица, и я матвью навешу, которое без ТО, оно будет хавать инсерты которые прилетят через зукипер? (допустим нода отвалилась, прошли инсерты, потом нода поднялась - очередь пустая, но есть новые парты)
zookeeper хранит данные (имена, контр. суммы) о партах(файлах) которые надо скачать одной ноде с другой.

MV все равно какой Engine исходной таблицы, оно получает данные от инсертов, был инсерт на ноде A, MV на ноде A получит данные

Естественно надо просто делать Replicated engine у MV чтобы они тоже реплицировались если надо иметь MV на всех нодах, само MV тоже создавать на всех нодах (там инсерты)
источник

ЕГ

Евгений Гордеев... in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
zookeeper хранит данные (имена, контр. суммы) о партах(файлах) которые надо скачать одной ноде с другой.

MV все равно какой Engine исходной таблицы, оно получает данные от инсертов, был инсерт на ноде A, MV на ноде A получит данные

Естественно надо просто делать Replicated engine у MV чтобы они тоже реплицировались если надо иметь MV на всех нодах, само MV тоже создавать на всех нодах (там инсерты)
Да вот блин хотелось бы инсертить на одной ноде а данные в матвью собирать на другой
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Евгений Гордеев
Да вот блин хотелось бы инсертить на одной ноде а данные в матвью собирать на другой
ну это возможно, просто в TO прописать таблицу с либо Engine Distributed либо remote

т.е. делаем insert into source на ноде A, там MV получает данные от инсерта, считает select и делает свой инсерт в таблицу на другой ноде
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
хрень конечно полная и будет ломаться при разрыве связи
источник

IM

Ivan Moiseev in ClickHouse не тормозит
Всем привет! Подскажите, а можно в существующую таблицу добавить индекс, например через alter?
источник

AR

Alexander Ryzhenko in ClickHouse не тормозит
Доброго времени суток.
ClickHouse (ver. 20.4.5.36)
При рестарте КХ получаем креш и
{} <Error> Application: Coordination::Exception: No node, path: /clickhouse/tables/1/db.tbl/replicas/server-name/metadata: Cannot attach table `db`.`.inner.tbl` from metadata file /var/lib/clickhouse/metadata/db/%2Einner%tbl.sql from query ATTACH TABLE `.inner.tbl` (.........

Что
может быть и что делать? Вроде ничего такого не делали на сервере
источник

КТ

Константин Трофимов... in ClickHouse не тормозит
Application: Coordination::Exception: No node, path: /clickhouse/tables/1/db.tbl/replicas/server-name/metadata
источник

КТ

Константин Трофимов... in ClickHouse не тормозит
говорит нету такого путя в ЗК
источник

КТ

Константин Трофимов... in ClickHouse не тормозит
надо:
1) проверить что в конфиге не потерялся ЗК
2) "select * from system.zookeeper where path 'путь';" убедиться что кх доходит в ЗК и поперебирать путя найти нужны
3) посмотреть в metadata/db/tbl.sql на файлухе что за макросы используются у вас и поправить в конфиге нужные макросы, чтоб путя стали правильные
источник

КТ

Константин Трофимов... in ClickHouse не тормозит
и все станет хорошо ;)
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Ivan Moiseev
Всем привет! Подскажите, а можно в существующую таблицу добавить индекс, например через alter?
в КХ нет инверсных индексов
какой индекс? skip ? в доке описано
первичный индекс задается при создании таблицы
источник

VS

Vladyslav Sakun in ClickHouse не тормозит
Добрый день!
Подскажите в какой версии кликхауза доступен тип хранения словаря ssd_cache?
источник

VS

Vladyslav Sakun in ClickHouse не тормозит
Vladyslav Sakun
Добрый день!
Подскажите в какой версии кликхауза доступен тип хранения словаря ssd_cache?
Отвечу сам, начиная с версии 20.6, которая пока ещё не является стабильной
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
20.6 prestable, т.е. есть шансы что зарелизится на этой неделе, тестировать у себя уже можно / нужно
источник

VS

Vladyslav Sakun in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
20.6 prestable, т.е. есть шансы что зарелизится на этой неделе, тестировать у себя уже можно / нужно
Ну и подождать выход следующих минорных версий с исправлением багов :)
источник