Как нечетные zk распределить по 2ум ДЦ

Это про системные таблицы system.tables/columns
Просто повторяйте запрос. Или поставьте самый последний кх

Или в любом случае ручное вмешательство нужно...

а что в самом последнем?

Даже так. А не возникнет какого либо конфликта в смещениях топиков кафки? Пока не могу сообразить как это все вместе будет работать
То есть создадутся три консьюмера(если 3сервера) со стороны кх, и у каждого консьюмера будет свой топик кафки со смещениями или все таки один консьюмер будет?

да, у нас вообще дедлок был.

запустили materialize TTL (потому что авто ттл кривой и дропает слишком медленно ttl_only_drop_parts=1).

оказалось materialize TTL тоже кривой (сука) и перезаписывает все парты даже при ttl_only_drop_parts=1,  все по канону с распаковыванием и запаковыванием )

merge не шли потому что mutate зависли изза number_of_free_entries_in_pool_to_execute_mutation

а merge не шли из-за max_bytes_to_merge_at_min_space_in_pool
——
сейчас убрали лимит на mutation, включили лимит
но факт в том, что сейчас вся база читается и пишется просто так...

чего? это одна из самых главных фич кафки, множественные консьюмеры на один топик, одну группу. Это суть кафки, консьюмеры одной группы читают разные партиции

https://github.com/ClickHouse/ClickHouse/issues/11173

Fixed in 20.4.

> множественные консьюмеры на один топик
ну это да, интересовал только момент с тем как кх будет создавать консьюмеры, ну понятно в общем, спасиб)

Доброго дня.
Обновились на v20.4.5.36-stable и начались приключения.
Часть таблиц словарей (engine dictionary) хотя словари есть.
cli  2020.06.23 08:49:00.926423 [ 26509 ] {} <Error> Application: Caught exception while loading metadata: Code: 36, e.displayText() = DB::Exception: external dictionary 'factories' not found: Cannot attach table `db`.`dict_factories` from metadata file /var/lib/clickhouse/metadata/db/dict_factories.sql from query ATTACH TABLE dict_factories (`id` UInt64, `name` String) ENGINE = Dictionary('factories'), Stack trace (when copying this message, always include the lines below)

Удалили файлы таблицы с диска - запустилось. Но при пересоздании таблиц - снова креш с таким же сообщением. Пробовали создать словари и таблицы-словари с другими именами - падает при запросах, в которых есть джойн на эти таблицы.

В какую сторону смотреть? Думаю, может нельзя было просто удалять файлы, т.к. где-то в метадате/зукипере осталась инфа о них ?

не имеет значения четное нечетное, кафка будет ложится если теряет кворум, она специально падает при расщеплении
ну а как вы себе это представляли? зачем вам два дц ?  При падении сети оба должны работать независимо или что?

известный баг в 20.4 https://github.com/ClickHouse/ClickHouse/issues/11201 https://github.com/ClickHouse/ClickHouse/issues/10994

готового инструмента нет, freeze создает хардлинки, т.е. если такой файл уже забекаплен, значит его можно не бекапить

clickhouse-backup
Но там только diff есть

потому что этой настройкой пользуется пользователь default(system)

>DB::Exception: Possible deadlock avoided
в err логе КХ видно какой запрос упал. Это не пользовательская блокировка, это про мьютексы про озу.

это сообщение почти всегда про системный каталог (я не видел никогда про обычные таблицы)

Натыкался при альтерах на 20.4 и одновременных запросах к таблице

хм, т.е. "потому что код так написан"?

я никогда не видел в этом проблемы, т.е. всегда бекграунд джобы использовали настройки от профиля дефаулт, т.е. например параметр max_block_size который про select-ы когда-то давно влиял и на мержи и на кафку, и это казалось естественным

да, просто глядя в system.settings - непонятно где именно это менять. для меня и бекграунд джобы и просто другие активности - это одно и то же в плане репозитория конфигурации