на самом деле 5к партиций это страшно. В современных версиях КХ все альтеры ломаются на 7к, потому что в ЗК не лезет транзакция больше 1МБ.

Там проблема со вставкой теперь не из-за партов, видимо. Вставляется на db01 блок с данными за одну и ту же секунду, КХ ругается в лог и данные не вставляются:
```2021.03.11 04:20:55.608642 [ 40448 ] {} <Error> db1.gate_clicks.DirectoryMonitor: Code: 252, e.displayText() = DB::Exception: Received from db21:9000. DB::Exception: Too many partitions for single INSERT block (more than 100). The limit is controlled by 'max_partitions_per_insert_block' setting. Large number of partitions is a common misconception. It will lead to severe negative performance impact, including slow server startup, slow INSERT queries and slow SELECT queries. Recommended total number of partitions for a table is under 1000..10000. Please note, that partitioning is not intended to speed up SELECT queries (ORDER BY key is sufficient to make range queries fast). Partitions are intended for data manipulation (DROP PARTITION, etc)```

Возможно, дело из-за неудачного ключа сортировки.

CREATE TABLE db1.clicks (login String, datetime DateTime, REC_DATE Date DEFAULT toDate(datetime)) ENGINE = ReplicatedMergeTree('/clickhouse/{cluster}/tables/db1/shard-{shard}/clicks', '{replica}') PARTITION BY REC_DATE ORDER BY (datetime, login) SETTINGS index_granularity = 8192

Чем-то здесь можно помочь?

CREATE TABLE db1.clicks (login String, datetime DateTime, REC_DATE Date DEFAULT toDate(datetime)) ENGINE = ReplicatedMergeTree('/clickhouse/{cluster}/tables/db1/shard-{shard}/clicks', '{replica}') PARTITION BY REC_DATE ORDER BY (datetime, login) SETTINGS index_granularity = 8192

нет, это не из-за ключа сортировки.

PARTITION BY REC_DATE -- но там скорее всего в дистрибьютид таблице что-то уже лежит, надо остановить инсерты и смотреть что в каталогах дистрибьютид и что в логах

Ну ЗК+КХ доживает последний год (надеюсь)

подскажите пожалуйста, настраивал по оф доке kafka engine создал mv но потом в логах посыпались ошибки
<Warning> StorageKafka (lbs_kafka_queue): Can't get assignment. It can be caused by some issue with consumer group (not enough partitions?). Will keep trying.
после некоторого времени отваливается по таймауту. Никто не сталкивался? Версия КХ 20.6.4

не выполняется clickhouse-backup

2:53:09 can't connect to clickhouse: code: 516, message: default: Authentication failed: password is incorrect or there is no user with such name

в config.yml в секцию clickhouse прописала те же настройки, что и в etc/clickhouse-server/users.xml пользователь там один с паролем

sudo -H -u default ./clickhouse-backup tables                                                                                                                       :(
sudo: неизвестный пользователь: default
sudo: не удаётся инициализировать модуль политики

sudo -H -u clickhouse не пойму здесь пользователь от БД должен быть?

нет
тут пользователь должен быть unix
из под которого clickhouse-server запущен

ps auxf | grep clickhouse-server

clickhouse-client
если запускать работает?

покажите yaml файл с конфигурацией clickhouse-backup

Добрый день,
Обновили КХ до

v21.2.2.8-stable

Инсерты в таблицу  

AggregatingMergeTree

начали выполняться дольше чем обычно в несколько раз. Раньше версия КХ была

v 20.9.2.20

В чем может быть причина, в какую сторону смотреть ?
Спасибо!

clickhouse-client                                                                                                                                                   :(
ClickHouse client version 20.12.3.3 (official build).
Connecting to localhost:9000 as user default.
Code: 516. DB::Exception: Received from localhost:9000. DB::Exception: default: Authentication failed: password is incorrect or there is no user with such name.

netstat -nap | grep -E "9000|8127"
что показывает?

почему port 8127 для clickhouse-backup если Должен быть 9000? он через Native протокол соединяется

v21.2.2.8-stable

AggregatingMergeTree

v 20.9.2.20

system.trace_log смотрите сравнивайте

https://github.com/Slach/clickhouse-flamegraph/

если прописывать, то к клиенту подсоединяется clickhouse-client --user default --password AV5425KL32                                                                                                                              :)
ClickHouse client version 20.12.3.3 (official build).
Connecting to localhost:9000 as user default.
Connected to ClickHouse server version 20.12.3 revision 54442.

bibinetpc7 :)

netstat -nap | grep -E "9000|8127"                                                                                                                                  :)
(Не все процессы были идентифицированы, информация о процессах без владельца
не будет отображена, вам нужны права суперпользователя (root), чтобы увидеть всю информацию.)
tcp        0      0 0.0.0.0:9000            0.0.0.0:*               LISTEN      -                  
tcp        0      0 127.0.0.1:48120         127.0.0.1:9000          ESTABLISHED -                  
tcp        0      0 127.0.0.1:9000          127.0.0.1:48120         ESTABLISHED -                  
unix  3      [ ]         STREAM     CONNECTED     58127    -                    /run/user/121/bus