я правильно понимаю, что все, что в директории log можно безопасно для работы зукипера удалить?

drwxrwsr-x 5 root      zookeeper  4096 Dec 10  2019 .
drwxr-xr-x 1 root      root       4096 Oct 27  2017 ..
drwxrwsr-x 4 zookeeper zookeeper  4096 May 19 21:26 data
drwxrwsr-x 3 zookeeper zookeeper  4096 Dec 10  2019 log
drwxrws--- 2 root      zookeeper 16384 Dec 10  2019 lost+found

Можно ли настроить ротацию логов через конфиг зукипера как- то?

drwxrwsr-x 5 root      zookeeper  4096 Dec 10  2019 .
drwxr-xr-x 1 root      root       4096 Oct 27  2017 ..
drwxrwsr-x 4 zookeeper zookeeper  4096 May 19 21:26 data
drwxrwsr-x 3 zookeeper zookeeper  4096 Dec 10  2019 log
drwxrws--- 2 root      zookeeper 16384 Dec 10  2019 lost+found

2. Auto Way
Set below 2 parameters in zoo.cfg and restart zookeeper.
autopurge.snapRetainCount
  New in 3.4.0: When enabled, ZooKeeper auto purge feature retains the autopurge.snapRetainCount most recent snapshots and the corresponding transaction logs in the dataDir and dataLogDir respectively and deletes the rest. Defaults to 3. Minimum value is 3.

autopurge.purgeInterval
   New in 3.4.0: The time interval in hours for which the purge task has to be triggered. Set to a positive integer (1 and above) to enable the auto purging. Defaults to 0.

помоему как раз про это

спасибо, буду изучать!

drwxrwsr-x 5 root      zookeeper  4096 Dec 10  2019 .
drwxr-xr-x 1 root      root       4096 Oct 27  2017 ..
drwxrwsr-x 4 zookeeper zookeeper  4096 May 19 21:26 data
drwxrwsr-x 3 zookeeper zookeeper  4096 Dec 10  2019 log
drwxrws--- 2 root      zookeeper 16384 Dec 10  2019 lost+found

See autopurge.snapRetainCount and autopurge.purgeInterval

autopurge.purgeInterval стоит 0. Скорее всего, дело в этом =)

Всем большое спасибо!

Через пол месяца - месяц могу попробовать сделать PR

Всем привет! Такая ситуация, подняли в кубере три пода КХ, но если смотреть списки таблиц в подах,
то списки таблиц с engine ReplicatedMergeTree во всех серверах совпадают, а вот остальные списки таблиц с engine = kafka, MV, MergeTree отличаются.
То есть в одном сервере, например таблица с engine MV есть, а в другом нет, так и должно быть или неправильно настроены поды?

В кубере использовали clickhouse-operator
https://github.com/Altinity/clickhouse-operator
https://www.altinity.com/blog/2019/4/9/altinity-clickhouse-operator-for-kubernetes

А как вы таблицы создавали?

через файлы миграций, в CI запускались

Ну тогда надо в ваши файлы смотреть, оператор-то тут причем?

Оператор создает вам поды и кластер, и может переносить схему при добавлении новых шардов и реплик, но схему надо правильно создать для этого

я не утверждал, что оператор в этом виноват
для миграций используется либа https://github.com/Infinidat/infi.clickhouse_orm/blob/develop/docs/schema_migrations.md#running-migrations
Запускаются так

from django.conf import settings
from django.core.management.base import BaseCommand

from infi.clickhouse_orm.database import Database


class Command(BaseCommand):

    def handle(self, *args, **options):
        db = Database(
            settings.CLICKHOUSE_DB,
            db_url="http://{}:8123/".format(settings.CLICKHOUSE_HOST),
            username=settings.CLICKHOUSE_USER,
            password=settings.CLICKHOUSE_PASSWORD
        )
        db.migrate('users.users_migrations')
        db.migrate('events.events_migrations')

в итоге таблицы ReplicatedMergeTree созданы во всех подах, остальные таблицы разбросаны по подам

А на подах в таблице infi_clickhouse_orm_migrations все миграции есть?

всем привет!
Кто-нибудь знает, что могут значить такие сообщение в логах зукипера?


2020-06-25 08:52:55,182 [myid:3] - INFO  [ProcessThread(sid:3 cport:-1)::PrepRequestProcessor@596] - Got user-level KeeperException when processing sessionid:0x1007fe4bca60001 type:multi cxid:0xdacb zxid:0x300008397 txntype:-1 reqpath:n/a aborting remaining multi ops. Error Path:/clickhouse/tables/shard1/shard_counters_v3/blocks/20200624_10451351298186526551_9207555480969644248 Error:KeeperErrorCode = NodeExists for /clickhouse/tables/shard1/shard_counters_v3/blocks/20200624_10451351298186526551_9207555480969644248



Судя по всему есть проблема с репликацией данных, но не можем найти причину

В том поде где создана таблица infi_clickhouse_orm_migrations есть все миграции, в других подах нет этой таблицы infi_clickhouse_orm_migrations

Доброго времени суток. Скажите, есть ли возможность ограничить потребление CPU юзеру или кликхаусу вообще?

в линуксе для этого есть cgroups2 - деталей не знаю

Можно как-то победить или от LowCardinality придется избавиться? Conversion from AggregateFunction(topK(10), Array(String)) to AggregateFunction(topK(10), Array(LowCardinality(String))) is not supported