Телеграмм чат группы clickhouse

15:37пожаловаться #1

DC

может еще что-то полезное положить?

а у вас далеко сервер от клиента? просто такое ощущение что кто-то не дожидается и инсерт обрывается

15:37пожаловаться #2

V

а у вас далеко сервер от клиента? просто такое ощущение что кто-то не дожидается и инсерт обрывается

в одном облаке

15:38пожаловаться #3

V

в одном облаке

clickHouseDataSource.getProperties().setSessionTimeout(600_000L);
        clickHouseDataSource.getProperties().setConnectionTimeout(600_000);
        clickHouseDataSource.getProperties().setSocketTimeout(600_000);
        clickHouseDataSource.getProperties().setDataTransferTimeout(600_000);
        clickHouseDataSource.getProperties().setKeepAliveTimeout(600_000);

15:39пожаловаться #4

V

Все таймауты которые в jdbc представлены выставил в 10 минут

15:39пожаловаться #5

DC

в одном облаке

замените для теста ENGINE = MergeTree на ENGINE = Null

Alexander Ryzhenko in ClickHouse не тормозит

15:39пожаловаться #6

AR

На митапе Алексей говорил о разработке движка а-ля MySQL реплика.
Скажите, будет ли возможность сохранять историю изменений в таблице, или только текущее состояние? Очень интересно, а ждать так долго :)

15:42пожаловаться #7

V

замените для теста ENGINE = MergeTree на ENGINE = Null

если все пойдет нормально, то проблема в записи?

15:42пожаловаться #8

DC

если все пойдет нормально, то проблема в записи?

не знаю, просто интересно
непонятно, может у вас клиент захлебывается и начинает тормозить, какой вообще сетевой поток получается при такой записи?

Sanzhar Sarsenbi in ClickHouse не тормозит

15:48пожаловаться #9

SS

Всем привет!

15:49пожаловаться #10

V

не знаю, просто интересно
непонятно, может у вас клиент захлебывается и начинает тормозить, какой вообще сетевой поток получается при такой записи?

мои мониторинги показывают максимум 13МБ сети

15:50пожаловаться #11

DC

мои мониторинги показывают максимум 13МБ сети

посмотрите что делал c2912eff-d759-4b1b-80b3-151e5a96196a до этого и какое время было у предыдущего сообщения
и что делал [ 966 ]

15:53пожаловаться #12

DC

Segmentation Fault when using join_algorithm='partial_merge' · Issue #11791 · ClickHouse/ClickHouse

Dj

https://github.com/ClickHouse/ClickHouse/issues/11791
если у кого ещё валится partial_merge

GitHub

Describe the bug Segmentation fault when using join_algorithm='partial_merge' How to reproduce Trying to merge large tables using merge join. Problem does NOT happen when limits are...

DDL от правой хотя бы таблицы, может проблема при LowCardinality(Array(String)) CODEC ZSTD(8), насколько длинные строки справа? по какому типу поля идет join ?

15:59пожаловаться #13

D

Dj in ClickHouse не тормозит

DDL от правой хотя бы таблицы, может проблема при LowCardinality(Array(String)) CODEC ZSTD(8), насколько длинные строки справа? по какому типу поля идет join ?

да, позже постараюсь докинуть инфы в меру возможностей...

16:03пожаловаться #14

DC

мои мониторинги показывают максимум 13МБ сети

а вот еще кстати

>clickHouseDataSource.getProperties().setSocketTimeout(600_000);
>Caused by: org.apache.http.NoHttpResponseException: server:8123 failed to respond

у вас в клиент через 10мин. отваливается?

т.е. скорее всего через 10 сек.

Я кстати выставляю параметры до создния соед. Возможно после их уже не поменять, по коду драйвера с ходу непонятно

я делаю так
ClickHouseProperties clickHouseProperties = new ClickHouseProperties();
clickHouseProperties.setConnectionTimeout(dwhConnectTimeout);
clickHouseProperties.setSocketTimeout(dwhReadTimeout);
clickHouseProperties.setDataTransferTimeout(dwhReadTimeout);
ClickHouseDataSource chDataSource;
chDataSource = new ClickHouseDataSource(DWHConnectionURL, clickHouseProperties);

16:19пожаловаться #15

V

а вот еще кстати

>clickHouseDataSource.getProperties().setSocketTimeout(600_000);
>Caused by: org.apache.http.NoHttpResponseException: server:8123 failed to respond

у вас в клиент через 10мин. отваливается?

т.е. скорее всего через 10 сек.

Я кстати выставляю параметры до создния соед. Возможно после их уже не поменять, по коду драйвера с ходу непонятно

я делаю так
ClickHouseProperties clickHouseProperties = new ClickHouseProperties();
clickHouseProperties.setConnectionTimeout(dwhConnectTimeout);
clickHouseProperties.setSocketTimeout(dwhReadTimeout);
clickHouseProperties.setDataTransferTimeout(dwhReadTimeout);
ClickHouseDataSource chDataSource;
chDataSource = new ClickHouseDataSource(DWHConnectionURL, clickHouseProperties);

`2020.06.19 13:03:16.815639 [ 25727 ] {} <Trace> DynamicQueryHandler: Request URI: /?compress=1&extremes=0&password=pass&database=db&user=db_user&session_timeout=600000&max_memory_usage=60000000000&query_id=19804f90-fa0f-48ca-99d5-e58c1ee45df5
`
Из лога

16:21пожаловаться #16

V

т.е. session_timeout ставит в параметры

16:21пожаловаться #17

V

Если бы это был таймаут, то и ошибка должна быть о timeout. А тут с одной стороны стрим преравался, а с другой стороны клиент говорит, что сервер соединение порвал

16:23пожаловаться #18

V

А рвется в разное время по разному. То 5 минут отработает, то 10, то 2

Pavel Kovalenko in ClickHouse не тормозит

16:24пожаловаться #19

PK

Al T

S3 если получится сделать быстро на чтение, даже в связке например с nvme в качестве кеша - к вам все кладуы придут

Спасибо) Постараемся выжать максимум из этого.