извините фигню написал toUInt32(today()) у вас как раз и происходит

ну вообще то что toYYYYMMDD возвращает UInt32 и что это YYYYMMDD в виде числа это надо по доке понять  =)

вообще у clickhouse с преобразованием типа беда
хорошо если исключение кидается
но в вашем случае просто молча глотает и делает преобразование в UInt32 но число получается ДРУГОЕ
и делает фуллскан потому что не может определить быстро партицию

SELECT toUInt32(today()), toYYYYMMDD(today());
два разных числа получаются

SELECT *
FROM system.merge_tree_settings
WHERE name LIKE '%merge%'

┌─name──────────────────────────────────────────────────────┬─value─────────┬─changed─┬─description────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────┐
│ max_bytes_to_merge_at_max_space_in_pool                   │ 4394967296000 │       1 │ Maximum in total size of parts to merge, when there are maximum free threads in background pool (or entries in replication queue).                                                                                                                         │
│ max_bytes_to_merge_at_min_space_in_pool                   │ 1048576       │       0 │ Maximum in total size of parts to merge, when there are minimum free threads in background pool (or entries in replication queue).                                                                                                                         │
│ max_replicated_merges_in_queue                            │ 16            │       0 │ How many tasks of merging and mutating parts are allowed simultaneously in ReplicatedMergeTree queue.                                                                                                                                                      │
│ number_of_free_entries_in_pool_to_lower_max_size_of_merge │ 8             │       0 │ When there is less than specified number of free entries in pool (or replicated queue), start to lower maximum size of merge to process (or to put in queue). This is to allow small merges to process - not filling the pool with long running merges.    │
│ prefer_fetch_merged_part_time_threshold                   │ 3600          │       0 │ If time passed after replication log entry creation exceeds this threshold and sum size of parts is greater than "prefer_fetch_merged_part_size_threshold", prefer fetching merged part from replica instead of doing merge locally. To speed up very long merges. │
│ prefer_fetch_merged_part_size_threshold                   │ 10737418240   │       0 │ If sum size of parts exceeds this threshold and time passed after replication log entry creation is greater than "prefer_fetch_merged_part_time_threshold", prefer fetching merged part from replica instead of doing merge locally. To speed up very long merges. │
│ enable_vertical_merge_algorithm                           │ 1             │       0 │ Enable usage of Vertical merge algorithm.                                                                                                                                                                                                                  │
│ vertical_merge_algorithm_min_rows_to_activate             │ 131072        │       0 │ Minimal (approximate) sum of rows in merging parts to activate Vertical merge algorithm.                                                                                                                                                                   │
│ vertical_merge_algorithm_min_columns_to_activate          │ 11            │       0 │ Minimal amount of non-PK columns to activate Vertical merge algorithm.                                                                                                                                                                                     │
│ min_merge_bytes_to_use_direct_io                          │ 10737418240   │       0 │ Minimal amount of bytes to enable O_DIRECT in merge (0 - disabled).                                                                                                                                                                                        │

Коллеги, подскажите, пожалуйста, как должен выглядеть конфиг для кафки, когда нужно иметь две разные учетки для разных топиков.

Сейчас так:

--kafka.xml в config.d/
<?xml version="1.0"?>
<yandex>
  <kafka>
<sasl_mechanism>PLAIN</sasl_mechanism>
       <security_protocol>SASL_PLAINTEXT</security_protocol>
<sasl_username>user</sasl_username>
<sasl_password>pass</sasl_password>
  </kafka>
  <kafka_topic_my-topic>
<sasl_mechanism>PLAIN</sasl_mechanism>
       <security_protocol>SASL_PLAINTEXT</security_protocol>
<sasl_username>user2</sasl_username>
<sasl_password>pass2</sasl_password>
  </kafka_topic_my-topic>
</yandex>

Первая таблица работает.
А вот вторая нет (в ней указано kafka_topic_list = 'my-topic')

Есть идеи? (сервер перезагружал)
Пробоавал вариант и явно указать <kafka_topic_my-first-topic> - не работает. Ему ‘-’ не нравится?

Всем привет, вопрос по мат. представлениям: я правильно понимаю что если создать мат. представление и его использовать в запросе другого мат. представления то это работать не будет?

Всем привет!

Подскажите, пожалуйста, как бэкапить все таблицы с помощью контейнера "alexakulov/clickhouse-backup", а не только "MergeTree family" ?
Дело в том что у меня есть потребность бэкапить таблицы с engine "TinyLog"

(по истории канала побегал и не нашёл ответ на мой вопрос)

Привет всем.  Может,  кто сталкивался с ограничением мерджей?  В одной таблице в партиции уже 1000 партов,  иногда в логах вижу задержку вставки на 8мс, больше ничего необычного не вижу,  партиции небольшие, может есть какие-то параметры?

Коллеги, подскажите, пожалуйста, как должен выглядеть конфиг для кафки, когда нужно иметь две разные учетки для разных топиков.

Сейчас так:

--kafka.xml в config.d/
<?xml version="1.0"?>
<yandex>
  <kafka>
<sasl_mechanism>PLAIN</sasl_mechanism>
       <security_protocol>SASL_PLAINTEXT</security_protocol>
<sasl_username>user</sasl_username>
<sasl_password>pass</sasl_password>
  </kafka>
  <kafka_topic_my-topic>
<sasl_mechanism>PLAIN</sasl_mechanism>
       <security_protocol>SASL_PLAINTEXT</security_protocol>
<sasl_username>user2</sasl_username>
<sasl_password>pass2</sasl_password>
  </kafka_topic_my-topic>
</yandex>

Первая таблица работает.
А вот вторая нет (в ней указано kafka_topic_list = 'my-topic')

Есть идеи? (сервер перезагружал)
Пробоавал вариант и явно указать <kafka_topic_my-first-topic> - не работает. Ему ‘-’ не нравится?

вроде глядя на документацию
https://clickhouse.tech/docs/en/engines/table-engines/integrations/kafka/#configuration
должно быть <kafka_my-topic>
без _topic

select * from system.metrics m where metric like '%Background%Task%';

смотрите сколько у вас активных мерджей и других тасков в пуле

хм... у нас миграции в TinyLog: https://github.com/golang-migrate/migrate/blob/master/database/clickhouse/clickhouse.go#L223

Добрый день

Столкнулись с проблемой в клике, не смог найти в ишью трекере ничего подходящего, если никто подобное не видел, то буду заводить ишью, но нужен коллективный опыт )

Есть таблица (Т) в которую заливает матвью из кафка (К) движка (М1) и есть другой матвью (М2) , который смотрит в таблицу (Т),
то при создании (М2) есть ошибка (в моем кейсе была ошибка в селекте) , и она не помешает создать (М2), и такая сломанная вьюха ломает через (Т) её матьвю (М1) из залив из кафки (К) в (М1).

Удаление М2 решает проблему. (версия 20.5.3.27)

хм... у нас миграции в TinyLog: https://github.com/golang-migrate/migrate/blob/master/database/clickhouse/clickhouse.go#L223

Добрый день

Столкнулись с проблемой в клике, не смог найти в ишью трекере ничего подходящего, если никто подобное не видел, то буду заводить ишью, но нужен коллективный опыт )

Есть таблица (Т) в которую заливает матвью из кафка (К) движка (М1) и есть другой матвью (М2) , который смотрит в таблицу (Т),
то при создании (М2) есть ошибка (в моем кейсе была ошибка в селекте) , и она не помешает создать (М2), и такая сломанная вьюха ломает через (Т) её матьвю (М1) из залив из кафки (К) в (М1).

Удаление М2 решает проблему. (версия 20.5.3.27)