Size: a a a

ClickHouse не тормозит

2020 August 27

A

Anton in ClickHouse не тормозит
Slach
ну похоже у вас с данными беда какая то...
таблица очень большая?
Да
источник

S

Slach in ClickHouse не тормозит
Anton
Да
тогда не буду советовать делать OPTIMIZE TABLE .. FINAL ...
ну и
CHECK TABLE
можно конечно попробовать
чтобы проверить что данные закорраптились или нет
источник

НМ

Никита Макушников... in ClickHouse не тормозит
Привет, вижу в логах clickhouse сервера много ошибок:

<Error> DynamicQueryHandler: Code: 516, e.displayText() = DB::Exception: default: Authentication failed: password is incorrect or there is no user with such name...

Два вопроса:
1. это лог неуспешной попытки аутентификации пользователя default? Или пользователь необязательно default (в логе default - это не о пользователе)?
2. Какую дополнительную информацию можно получить из clickhouse (например, ip адрес, с которого была попытка подключения)? Интересует именно доп информация, которую можно получить из clickhouse.
источник

A

Anton in ClickHouse не тормозит
Slach
тогда не буду советовать делать OPTIMIZE TABLE .. FINAL ...
ну и
CHECK TABLE
можно конечно попробовать
чтобы проверить что данные закорраптились или нет
так можно как-то это вылечить?
источник

S

Slach in ClickHouse не тормозит
Anton
так можно как-то это вылечить?
CHECK TABLE
запускали?
источник

A

Anton in ClickHouse не тормозит
CHECK TABLE smallsrvstat


Exception on client:
Code: 210. DB::NetException: SSL connection unexpectedly closed, while reading from socket ([2a02:6b8:c00:4604:0:1589:9a59:3b9f]:9440): while receiving packet from myt-g8u9dskxve9tojk0.db.yandex.net:9440

Password for user (admin):
Connecting to database taxismallsrvstat_db at myt-g8u9dskxve9tojk0.db.yandex.net:9440 as user admin.
Code: 210. DB::NetException: Connection refused (myt-g8u9dskxve9tojk0.db.yandex.net:9440)
источник

A

Anton in ClickHouse не тормозит
подключаюсь, все можно посмотреть, при check table дис
источник

A

Anton in ClickHouse не тормозит
видимо слишком большая таблица для чека
источник

S

Slach in ClickHouse не тормозит
Anton
CHECK TABLE smallsrvstat


Exception on client:
Code: 210. DB::NetException: SSL connection unexpectedly closed, while reading from socket ([2a02:6b8:c00:4604:0:1589:9a59:3b9f]:9440): while receiving packet from myt-g8u9dskxve9tojk0.db.yandex.net:9440

Password for user (admin):
Connecting to database taxismallsrvstat_db at myt-g8u9dskxve9tojk0.db.yandex.net:9440 as user admin.
Code: 210. DB::NetException: Connection refused (myt-g8u9dskxve9tojk0.db.yandex.net:9440)
SELECT  * FROM system.processes

посмотрите
есть там ваш CHECK TABLE или нет
ну и
clickhouse-client --idle_connection_timeout 3600 --receive_timeout 3600

никто не отменял
источник

A

Anton in ClickHouse не тормозит
Slach
SELECT  * FROM system.processes

посмотрите
есть там ваш CHECK TABLE или нет
ну и
clickhouse-client --idle_connection_timeout 3600 --receive_timeout 3600

никто не отменял
нет там его, таймаут не помогает Code: 210. DB::NetException: SSL connection unexpectedly closed
источник

S

Slach in ClickHouse не тормозит
Anton
нет там его, таймаут не помогает Code: 210. DB::NetException: SSL connection unexpectedly closed
у вас yandex cloud?
обычно clickhouse-client на 9000 порт ходит и там SSL нет никакого...
источник

A

Anton in ClickHouse не тормозит
Slach
у вас yandex cloud?
обычно clickhouse-client на 9000 порт ходит и там SSL нет никакого...
источник

S

Slach in ClickHouse не тормозит
тогда стоит показать содержимое system.mutations
поддержке Yandex Cloud
источник

A

Anton in ClickHouse не тормозит
Slach
тогда стоит показать содержимое system.mutations
поддержке Yandex Cloud
хорошо спасибо
источник

PK

Pavel Klyuev in ClickHouse не тормозит
У меня сбоку появился небольшой кластер КХ, я натравил его на тот же зукипер
так можно? или можно как то поменять пути к зукиперу в кх, чтобы писалось в соседний?
источник

S

Shazo in ClickHouse не тормозит
Адреса серверов зукипера в конфиге указыаваются, пути внутри зукипера указываются при создании таблиц же.
источник

A

Artem in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
да ниче ок, Elapsed: 36.085 sec VS Elapsed: 0.078 sec.

create table GT( A Int64, B Float64) Engine=MergeTree order by A;

insert into GT select number%55555555, 0 from numbers (1000000000);

set max_threads=1;
select sum(B), A from GT group by A limit 3;

3 rows in set. Elapsed: 36.085 sec. Processed 1.00 billion rows

set optimize_aggregation_in_order=1;

select sum(B), A from GT group by A limit 3;
3 rows in set. Elapsed: 0.078 sec. Processed 4.47 million rows
Я так понимаю, что это оптимизация работает только если делать GROUP BY по _всем_ колонкам из ключа ORDER BY. Если только по первым нескольким колонкам из ключа, то у меня получается в 10 раз медленнее, чем без оптимизации.
источник

ЕА

Егор Андреевич... in ClickHouse не тормозит
Обновились сегодня на версию кх с 19.14 до 20.3.17.173 и  сильно увеличилось количество ошибок по памяти

DB::Exception: Memory limit (total) exceeded: would use 57.60 GiB (attempt to allocate chunk of 4228839 bytes), maximum: 57.60 GiB (version 20.3.17.173 (official build))

Кто-то сталкивался?
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Егор Андреевич
Обновились сегодня на версию кх с 19.14 до 20.3.17.173 и  сильно увеличилось количество ошибок по памяти

DB::Exception: Memory limit (total) exceeded: would use 57.60 GiB (attempt to allocate chunk of 4228839 bytes), maximum: 57.60 GiB (version 20.3.17.173 (official build))

Кто-то сталкивался?
Этой проверки (total) не было в 19.14. Там была настройка for_all_users но она выключена по умолчанию.
В 20.3 есть лимит по умолчанию 0.9*размер озу.
Его можно отключить в config.xml
Сколько памяти использует кх если смотреть top?
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Artem
Я так понимаю, что это оптимизация работает только если делать GROUP BY по _всем_ колонкам из ключа ORDER BY. Если только по первым нескольким колонкам из ключа, то у меня получается в 10 раз медленнее, чем без оптимизации.
Эта фича экспериментальная. Возможно не доделана
источник