Size: a a a

ClickHouse не тормозит

2020 August 18

DC

Denny Crane (I don't... in ClickHouse не тормозит
Alex
Наверно глупый вопрос, но лучше перестрахуюсь, вопрос по массивам - гарантируется ли мне неизменность индексов элементов массива, считанного из колонки, то есть если у меня в колонке arr записано [10,20,30,40] то arrayElement(arr, 3) мне гарантированно будет возвращать 30?
Гарантировано. Массив это значение, т.е. изменение массива это все равно что записать 1000 а прочитать 500.

При условии что это не aggregatingMergeTree с groupArrayState.
источник

AK

Andrii Kakoichenko in ClickHouse не тормозит
Скажите, есть ли более подробная дока по asof join, чем стандартная? Интересует
1) под капотом мердж или хеш джойн, или на выбор субд
2) насколько хорошо параллелится
3) если asof условие ложится на PK, то использует ли его CH?
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Kos
Спасибо большое!
Зря вы вообще задаете этот список полей. Его нельзя поменять через sql.
источник

OG

Oleksiy Golovko in ClickHouse не тормозит
Добрый день! А подскажите, это ок создавать Distributed таблицу на основе другой Diсtributed таблицы или есть в этом что-то порочное?
Т.е.
CREATE TABLE x.t_global … ENGINE = Distributed(cluster_global, db, t);
CREATE TABLE x.t … ENGINE = Distributed(cluster, db, t_local);
CREATE TABLE t …;

Запись при этом будет только в t_local, а чтение из t и t_global
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Andrii Kakoichenko
Скажите, есть ли более подробная дока по asof join, чем стандартная? Интересует
1) под капотом мердж или хеш джойн, или на выбор субд
2) насколько хорошо параллелится
3) если asof условие ложится на PK, то использует ли его CH?
Чистого мерж джойна (когда обе таблицы уже отсортированы) кх не умеет).
1. По умолчанию  hashJoin. Поменять можно через join_algorithm
2. Нет
3. Нет
источник

AG

Artemeey Gavryushin in ClickHouse не тормозит
Всем привет!
Вопрос про таблицы MySQL в Clickhouse

Использую docker контейнер: yandex/clickhouse-server:20.4.6.53
В логе MySQL раз в несколько минут появляется ошибка:
>[Warning] Aborted connection 21141642 to db: 'default' user: 'clickhouse' host: '172.20.0.2' (Got timeout reading communication packets)

Других ошибок в логе нет

Создается впечатление, что CH не закрывает соединение после выполнения запроса: http://joxi.ru/LmGLeP8iJ7X4g2?d=1
Что с этим можно сделать?

Таймаут на соединение - 300 секунд
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Oleksiy Golovko
Добрый день! А подскажите, это ок создавать Distributed таблицу на основе другой Diсtributed таблицы или есть в этом что-то порочное?
Т.е.
CREATE TABLE x.t_global … ENGINE = Distributed(cluster_global, db, t);
CREATE TABLE x.t … ENGINE = Distributed(cluster, db, t_local);
CREATE TABLE t …;

Запись при этом будет только в t_local, а чтение из t и t_global
Пару релизов назад добавили distributed over distributed.
Т.е. для тех у кого есть типа регионы можно создать дистрибютид таблицы eu us asia и накрыть это все таблицей global. Алексей Миловилов считает это бессмыленной херней нужной только тем кто хочет сократить кол-во entry point
источник

OG

Oleksiy Golovko in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
Пару релизов назад добавили distributed over distributed.
Т.е. для тех у кого есть типа регионы можно создать дистрибютид таблицы eu us asia и накрыть это все таблицей global. Алексей Миловилов считает это бессмыленной херней нужной только тем кто хочет сократить кол-во entry point
Ну это как раз мой кейс примерно
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Oleksiy Golovko
Ну это как раз мой кейс примерно
Ну значит для вас и сделали.
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Artemeey Gavryushin
Всем привет!
Вопрос про таблицы MySQL в Clickhouse

Использую docker контейнер: yandex/clickhouse-server:20.4.6.53
В логе MySQL раз в несколько минут появляется ошибка:
>[Warning] Aborted connection 21141642 to db: 'default' user: 'clickhouse' host: '172.20.0.2' (Got timeout reading communication packets)

Других ошибок в логе нет

Создается впечатление, что CH не закрывает соединение после выполнения запроса: http://joxi.ru/LmGLeP8iJ7X4g2?d=1
Что с этим можно сделать?

Таймаут на соединение - 300 секунд
Так никогда не закрывал. В чем проблема?
Кол-во коннектов в mysql?
источник

K

Kos in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
Зря вы вообще задаете этот список полей. Его нельзя поменять через sql.
хм. а зачем менять? а движок точно поймет , какие поля агрегировать ,  а какие нет?
источник

AK

Andrii Kakoichenko in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
Чистого мерж джойна (когда обе таблицы уже отсортированы) кх не умеет).
1. По умолчанию  hashJoin. Поменять можно через join_algorithm
2. Нет
3. Нет
Спасибо, как понимать п2 нет? Asof join не параллелится, а в 1 поток работает?
источник

AG

Artemeey Gavryushin in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
Так никогда не закрывал. В чем проблема?
Кол-во коннектов в mysql?
В количестве коннектов проблемы нет
Проблема в том, что в логе сообщения "Aborted connection". А почему так неизвестно.
Возможно коннекты неправильно закрываются из-за docker?
источник

ЕГ

Евгений Гаврюшин... in ClickHouse не тормозит
Привет!
Есть выполняю запрос вида
select *
from table
where date >= '2020-08-10' and t_id == 100500
order by date


На выходе получаю, то пустые данные, то находит данные.
Почему такое может происходить?
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Kos
хм. а зачем менять? а движок точно поймет , какие поля агрегировать ,  а какие нет?
Ну вы поле добавить захотите вдруг (метрику).
Движок будет суммировать числовые поля не входящие в orderby (с последнего релиза еще и не входящие в partition by).
Частенько в этом чате спрашивают страдальцы как изменить изменить список полей заданных для суммирования. Ответ: по простому никак.
источник

YV

Yuri Velgosha in ClickHouse не тормозит
Евгений Гаврюшин
Привет!
Есть выполняю запрос вида
select *
from table
where date >= '2020-08-10' and t_id == 100500
order by date


На выходе получаю, то пустые данные, то находит данные.
Почему такое может происходить?
Инфраструктура какая? Используется одиночный инстанс или же кластер с репликацией?
источник

ЕГ

Евгений Гаврюшин... in ClickHouse не тормозит
Yuri Velgosha
Инфраструктура какая? Используется одиночный инстанс или же кластер с репликацией?
Кластер с репликацией.
источник

YV

Yuri Velgosha in ClickHouse не тормозит
Евгений Гаврюшин
Кластер с репликацией.
Ну вот и ответ - либо репликация не работает, либо жесточайше запаздывает.
источник

YV

Yuri Velgosha in ClickHouse не тормозит
У нас такое было, когда вставляли данные без буфера - на 2 дня данные отставали на репликах...
источник

K

Kos in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
Ну вы поле добавить захотите вдруг (метрику).
Движок будет суммировать числовые поля не входящие в orderby (с последнего релиза еще и не входящие в partition by).
Частенько в этом чате спрашивают страдальцы как изменить изменить список полей заданных для суммирования. Ответ: по простому никак.
понял. учту. спасибо
источник