Size: a a a

ClickHouse не тормозит

2020 September 14

A

Artem in ClickHouse не тормозит
Andrii Kakoichenko
Не видел в этом чате подобных сообщений, но надеюсь, что по адресу. Хочу найти специалиста для платных консультаций по СН (оцениваю объем в 10-20 часов)

Рассматриваем CH, как возможную замену текущему хранилищу исторических данных на MSSQL и оперативному на PostgreSQL с потоком данных в 500 млн строк в день с последующим ростом в 4 раза. Сфера применения - антифрод система, работающая в near real-time + обучение моделей и проверка гипотез для этой системы на исторических данных.

Мы уже провели ряд тестов CH (ещё раз спасибо ребятам из этого чата за подсказки), и сейчас нам нужна помощь, чтобы решить, подходит ли нам этот продукт (частично, как OLAP решение, или целиком, как HTAP решение), и если да, то
1) подобрать оптимальное железо
2) построить схему хранения данных
3) понять, какие инфраструктурные изменения нам потребуются, чтобы мигрировать на CH
4) составить вакансию DBA, и помочь с техническими собеседованиями

Прошу написать мне, если сами можете проконсультировать, или знаете, к кому обратиться
В 2016-2017 годах работал в антифрод-стартапе, в котором как раз использовался CH. Подробностей не помню.
источник

IP

Ian Pilé in ClickHouse не тормозит
Всем привет. Подскажите, пожалуйста, а можно как-то соорудить внешний словарь из какой-то Легкой таблички в CH? Ну типа хочу в виде такого словарика хранить ЦБшный курс доллара по дням. Вроде использование такого дешевле, чем две таблички джойнить?
источник

ЕО

Евгений Овчинников... in ClickHouse не тормозит
Есть ли рекомендации по настройки кластера zookeeper для работы с несколькими кластерами CH ? ну кроме того, чтобы  пути таблиц в zoo не пересекались.
источник

l

lnuynxa in ClickHouse не тормозит
Ian Pilé
Всем привет. Подскажите, пожалуйста, а можно как-то соорудить внешний словарь из какой-то Легкой таблички в CH? Ну типа хочу в виде такого словарика хранить ЦБшный курс доллара по дням. Вроде использование такого дешевле, чем две таблички джойнить?
Да. кликхаус позволяет использовать в качестве источника словаря свою таблицу
источник

IP

Ian Pilé in ClickHouse не тормозит
lnuynxa
Да. кликхаус позволяет использовать в качестве источника словаря свою таблицу
А как бы такое состряпать? :)
источник

l

lnuynxa in ClickHouse не тормозит
Ну или можно найти апи центробанка и парсить его движком Template :)
источник

l

lnuynxa in ClickHouse не тормозит
Ian Pilé
А как бы такое состряпать? :)
источник

ЕО

Евгений Овчинников... in ClickHouse не тормозит
Евгений Овчинников
Есть ли рекомендации по настройки кластера zookeeper для работы с несколькими кластерами CH ? ну кроме того, чтобы  пути таблиц в zoo не пересекались.
к примеру будет общая "папка" в zookeeper:
ls /clickhouse/task_queue
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Ian Pilé
А как бы такое состряпать? :)
источник

D

Dj in ClickHouse не тормозит
Евгений Овчинников
Есть ли рекомендации по настройки кластера zookeeper для работы с несколькими кластерами CH ? ну кроме того, чтобы  пути таблиц в zoo не пересекались.
проблем нет,
таблицы по разному храним/схемы с разным фактором репликации
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Евгений Овчинников
к примеру будет общая "папка" в zookeeper:
ls /clickhouse/task_queue
там можно root указать в конфигурации зукипера
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
источник

ЕО

Евгений Овчинников... in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
там можно root указать в конфигурации зукипера
спасибо, думал это со стороны CH настраивается.
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Евгений Овчинников
спасибо, думал это со стороны CH настраивается.
да , это в КХ
источник

ЕО

Евгений Овчинников... in ClickHouse не тормозит
ок, понял
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
раньше root не было в CH , поэтому у меня все таблицы созданы с макросом cluster

ReplicatedReplacingMergeTree ('/clickhouse/{cluster}/tables/table','{replica}')
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
который просто задан cluster = prod / cluster=stage1 / cluster=stage1177
источник

D

Dj in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
раньше root не было в CH , поэтому у меня все таблицы созданы с макросом cluster

ReplicatedReplacingMergeTree ('/clickhouse/{cluster}/tables/table','{replica}')
а что кстати task_ddl кстати делает? там мусор какой то не могу найти где определено...
источник

D

Dj in ClickHouse не тормозит
или это только для DDL ON CLUSTER на момент исполнения
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Dj
или это только для DDL ON CLUSTER на момент исполнения
DDL ON CLUSTER
источник