Size: a a a

ClickHouse не тормозит

2020 June 05

S

Shazo in ClickHouse не тормозит
Если база не большая в mysql, подымите локальную реплику на КХ на read-only
источник

VA

Vasilij Abrosimov in ClickHouse не тормозит
Большая. Реплицировать стандартными средствами не выходит.
источник

AK

Alexey Konyaev in ClickHouse не тормозит
если большая, то словари кмк тут не спасут, потому что он в памяти КХ кешируется только частично, и подгружается в нее по мере необходимости.
Может  вопрос не про словари, а про то, как использовать КХ для бекапа больших таблиц из другой БД?)
источник

AN

Alexandr Novikov in ClickHouse не тормозит
всем привет.
есть MV с движком AMT.
как для нее поменять запрос, согласно которого она формируется? так чтобы не похерить уже имеющиеся данные
источник

VA

Vasilij Abrosimov in ClickHouse не тормозит
База большая, но используется из неё для словарей очень мало данных, вполне подходит для словарей. Проблема стандартной репликации в том, что на реплику идет бинлог (весь поток данных) и уже там разбирается. То есть, условно, на реплике 5 таблиц из 100, ни идут все 100, и лишнее отбрасывается (если я всё правильно понимаю и объясняю). Для географически разнесенных реплик с большой задержкой это фатально.
Раздумываем сейчас над вариантом с выносом нужных таблиц в отдельную БД, тогда репликация станет реальной.
источник

PS

Peter Sh in ClickHouse не тормозит
Привет!
Есть какой-нибудь способ игнорировать исключения в функциях?
select number, toDateTime(IF(number > 0, 'error', number)) from numbers(2);
Чтобы при таком возвращался во второй строке null или явно указанное значение?
источник

SC

Smoked Cheese in ClickHouse не тормозит
toDateTimeOrNull?
источник

SC

Smoked Cheese in ClickHouse не тормозит
или toDateTimeOrZero
источник

PS

Peter Sh in ClickHouse не тормозит
Вот как значит, я искал универсальный try .. catch какой-нибудь, а про специальные функции не подумал, спасибо!
источник

K

Kitsu in ClickHouse не тормозит
Есть достаточно большое количество разношерстных таблиц с общих ключем, можно их всех как-нибудь заджойнить с минимумом по памяти (по сути нужна обычная сортировка слиянием, т.к. данные упорядочены) или лучше это программно делать вне бд?
источник

A

Anttoon in ClickHouse не тормозит
Добрый день
подскажите пожалуйста как подключиться секюрно через  clickhouse-client

clickhouse-client -s
ClickHouse client version 20.3.8.53 (official build).
Connecting to localhost:9440 as user default.
Code: 210. DB::NetException: Connection refused (localhost:9440)


как я понимаю у меня нет кликхауса на 9440 порту
в настройках все по умолчанию, сертификат добавил.

netstat  вот что показывает
sudo netstat -tulpn | grep clickhouse
tcp        0      0 127.0.0.1:9004          0.0.0.0:*               LISTEN      665/clickhouse-serv
tcp        0      0 127.0.0.1:9009          0.0.0.0:*               LISTEN      665/clickhouse-serv
tcp        0      0 127.0.0.1:8123          0.0.0.0:*               LISTEN      665/clickhouse-serv
tcp        0      0 127.0.0.1:9000          0.0.0.0:*               LISTEN      665/clickhouse-serv
tcp6       0      0 ::1:9004                :::*                    LISTEN      665/clickhouse-serv
tcp6       0      0 ::1:9009                :::*                    LISTEN      665/clickhouse-serv
tcp6       0      0 ::1:8123                :::*                    LISTEN      665/clickhouse-serv
tcp6       0      0 ::1:9000                :::*                    LISTEN      665/clickhouse-serv
источник

DT

Dmitry Titov in ClickHouse не тормозит
Kitsu
Есть достаточно большое количество разношерстных таблиц с общих ключем, можно их всех как-нибудь заджойнить с минимумом по памяти (по сути нужна обычная сортировка слиянием, т.к. данные упорядочены) или лучше это программно делать вне бд?
большие таблицы?
источник

K

Kitsu in ClickHouse не тормозит
Dmitry Titov
большие таблицы?
угу
источник

D

Dj in ClickHouse не тормозит
Vasilij Abrosimov
База большая, но используется из неё для словарей очень мало данных, вполне подходит для словарей. Проблема стандартной репликации в том, что на реплику идет бинлог (весь поток данных) и уже там разбирается. То есть, условно, на реплике 5 таблиц из 100, ни идут все 100, и лишнее отбрасывается (если я всё правильно понимаю и объясняю). Для географически разнесенных реплик с большой задержкой это фатально.
Раздумываем сейчас над вариантом с выносом нужных таблиц в отдельную БД, тогда репликация станет реальной.
из коробки не получится, но можно периодически самим передампивать данные словаря из таблицы c mysql движком в локальную ну либо на локальный файл, и на локальных данных уже строить словарь..

ну или ждать этого:
10.17. Локальный дамп состояния словаря для быстрого старта сервера
источник

D

Dj in ClickHouse не тормозит
Kitsu
Есть достаточно большое количество разношерстных таблиц с общих ключем, можно их всех как-нибудь заджойнить с минимумом по памяти (по сути нужна обычная сортировка слиянием, т.к. данные упорядочены) или лучше это программно делать вне бд?
ну есть merge join в КХ.
Настройки тут:
https://clickhouse.tech/docs/ru/sql-reference/statements/select/join/#memory-limitations
источник

D

Dj in ClickHouse не тормозит
Kitsu
Есть достаточно большое количество разношерстных таблиц с общих ключем, можно их всех как-нибудь заджойнить с минимумом по памяти (по сути нужна обычная сортировка слиянием, т.к. данные упорядочены) или лучше это программно делать вне бд?
join_algorithm  hash  0  Specify join algorithm: 'auto', 'hash', 'partial_merge', 'prefer_partial_merge'. 'auto' tries to change HashJoin to MergeJoin on the fly to avoid out of memory.
—-
поиграйтесь с этим параметром.
источник

DS

Dimitriy Scherbenko in ClickHouse не тормозит
Всем привет! Подскажите, пожалуйста, как сделать инсерт даты в формате ДД.ММ.ГГГГ? При обычной вставке в ячейке вместо даты указан null.
источник

DT

Dmitry Titov in ClickHouse не тормозит
<date_time_input_format>best_effort</date_time_input_format>
источник

K

Kitsu in ClickHouse не тормозит
Dj
join_algorithm  hash  0  Specify join algorithm: 'auto', 'hash', 'partial_merge', 'prefer_partial_merge'. 'auto' tries to change HashJoin to MergeJoin on the fly to avoid out of memory.
—-
поиграйтесь с этим параметром.
Ага понял, спасибо
источник

DS

Dimitriy Scherbenko in ClickHouse не тормозит
Dmitry Titov
<date_time_input_format>best_effort</date_time_input_format>
спасибо
источник