Size: a a a

ClickHouse не тормозит

2021 March 11

DN

Demetra Nadya in ClickHouse не тормозит
clickhouse-backup create --table='my_db.my_table' my_backup
источник

DT

Dmitry Titov in ClickHouse не тормозит
Vladimir Borisov
Привет, ребят, посмотрел RoadMap и то что было сделано, но может что то пропустил. Вы не в курсе планируются ли введение хотя бы опций для join по контролю памяти и вообще работы в данном направлении?
Понимаю что лучше одна большая таблица и т.д. Но может быть все таки)
что подразумевается под опциями?
источник

ЮШ

Юрий Шахов in ClickHouse не тормозит
Всем добрый день. Я новичок в работе с КХ. Используем для выгрузки неагрегированных данных из Яндекс метрики по API.
Подскажите, пожалуйста, как сделать так, чтобы данные писались в определенную папку?
Используем версию 19.9 (потому что с более поздними API глючит). Настройки <path> в config.xml поменял, но данные все равно продолжают писаться не туда. Документацию перерыл. Может есть какой-то нюанс? На что обратить внимание?
Заранее благодарю.
источник

A

Artem in ClickHouse не тормозит
Добрый день.

`Aggregate function maxMerge(high) is found inside another aggregate function in query`
как-то лечится, кроме подзапроса?
источник

DT

Dmitry Titov in ClickHouse не тормозит
Artem
Добрый день.

`Aggregate function maxMerge(high) is found inside another aggregate function in query`
как-то лечится, кроме подзапроса?
Хм, а зачем вам для max использовать Merge он же stateless
источник

A

Artem in ClickHouse не тормозит
Dmitry Titov
Хм, а зачем вам для max использовать Merge он же stateless
Я делаю что-то вроде quantileExact(0.999)(maxMerge(high)) из AggregatingMergeTree таблицы
источник

DT

Dmitry Titov in ClickHouse не тормозит
Artem
Я делаю что-то вроде quantileExact(0.999)(maxMerge(high)) из AggregatingMergeTree таблицы
quantileExact(0.999)(finalizeAggregation(high))
источник

DT

Dmitry Titov in ClickHouse не тормозит
источник

A

Artem in ClickHouse не тормозит
Так работает, спасибо!
источник

VB

Vladimir Borisov in ClickHouse не тормозит
Dmitry Titov
что подразумевается под опциями?
Так, к примеру
1 источник и множество мат вью с группировкой по разным группам ключей
Получается на выходе 10 "осколков"
которые необходимо склеить
В таблицах +- одинаковое кол-во записей
Даже если делать join из двух, то хотелось бы иметь возможность контролировать потребление ОЗУ, так как для группировки/сортировки есть замечательные

max_bytes_before_external_group_by
max_bytes_before_external_sort

А для join только

max_bytes_in_join
max_rows_in_join

которые могут только генерировать исключения, но как я понял на потребление никак не влияют.

Итого join даже относительно не больших кусков невозможен в соотношении затрачиваемой памяти с возможностями группировать данные очень большого кол-ва строк.
источник

DT

Dmitry Titov in ClickHouse не тормозит
Vladimir Borisov
Так, к примеру
1 источник и множество мат вью с группировкой по разным группам ключей
Получается на выходе 10 "осколков"
которые необходимо склеить
В таблицах +- одинаковое кол-во записей
Даже если делать join из двух, то хотелось бы иметь возможность контролировать потребление ОЗУ, так как для группировки/сортировки есть замечательные

max_bytes_before_external_group_by
max_bytes_before_external_sort

А для join только

max_bytes_in_join
max_rows_in_join

которые могут только генерировать исключения, но как я понял на потребление никак не влияют.

Итого join даже относительно не больших кусков невозможен в соотношении затрачиваемой памяти с возможностями группировать данные очень большого кол-ва строк.
SELECT * FROM system.settings WHERE name LIKE '%join%';
источник

VB

Vladimir Borisov in ClickHouse не тормозит
да, опций немного больше)
источник

VB

Vladimir Borisov in ClickHouse не тормозит
окей, попробую, возможно что то есть, спасибо
источник

D

Dmutruu in ClickHouse не тормозит
Dmitry Titov
попробуйте дописать к toDateTime(endtime, 'Europe/Moscow')
Добрый день дописал, не помогает
источник

D

Dmutruu in ClickHouse не тормозит
Dmitry Titov
попробуйте дописать к toDateTime(endtime, 'Europe/Moscow')
это тип данных столбцов
источник

LR

Left Right in ClickHouse не тормозит
Всем привет. Подскажите нубу. Кликхаус умеет брать напрямую данные из ms sql?
источник

SS

Sergey Smirnov in ClickHouse не тормозит
Всем привет. У меня есть кластер, и если я теряю один узел, то начинаю получать вот такой эксепшен:
https://github.com/ClickHouse/ClickHouse/blob/a697b578bcbd92638e72da229aa871c2fc359fdb/src/Interpreters/executeDDLQueryOnCluster.cpp#L240

Верно ли я понимаю, что если меня полностью устраивает что этот узел сейчас не доступен, то такой эксепшен я могу просто проигнорировать? Такой вот вопрос)
источник

DT

Dmitry Titov in ClickHouse не тормозит
Left Right
Всем привет. Подскажите нубу. Кликхаус умеет брать напрямую данные из ms sql?
с помощью odbc или jdbc драйвера
источник

DT

Dmitry Titov in ClickHouse не тормозит
Sergey Smirnov
Всем привет. У меня есть кластер, и если я теряю один узел, то начинаю получать вот такой эксепшен:
https://github.com/ClickHouse/ClickHouse/blob/a697b578bcbd92638e72da229aa871c2fc359fdb/src/Interpreters/executeDDLQueryOnCluster.cpp#L240

Верно ли я понимаю, что если меня полностью устраивает что этот узел сейчас не доступен, то такой эксепшен я могу просто проигнорировать? Такой вот вопрос)
Да(на самом деле при поднятии ноды этот запрос выполнится и там)
источник

ВВ

Вячеслав Владимиров... in ClickHouse не тормозит
Left Right
Всем привет. Подскажите нубу. Кликхаус умеет брать напрямую данные из ms sql?
Умеет.  Смотри движок Mysql
источник