Size: a a a

ClickHouse не тормозит

2021 January 26

СЛ

Станислав Линник... in ClickHouse не тормозит
Slach
новая версия ClickHouse ? это движок БД  Atomic
лучше всего {uuid} макрос включать в путь
что то около новой
20.10.6.27-2
источник

СЛ

Станислав Линник... in ClickHouse не тормозит
Slach
новая версия ClickHouse ? это движок БД  Atomic
лучше всего {uuid} макрос включать в путь
То есть как то так?
ENGINE = ReplicatedMergeTree('/clickhouse/tables/{shard}/{database}/{table}/{uuid}', '{replica}')
источник

S

Slach in ClickHouse не тормозит
Станислав Линник
Distrubuted таблицы нет, так как шард всего один
тогда можно тупо без remote_servers, но помнить про них, как только будут два шарда, читать из многих ReplicatedMergeTree захочется

<remote_servers> это для distributed чтения и вставки

ReplicatedMergeTree использует ZK и настройки котого хранятся в <zookeeper> секции XML конфигов
источник

S

Slach in ClickHouse не тормозит
Станислав Линник
То есть как то так?
ENGINE = ReplicatedMergeTree('/clickhouse/tables/{shard}/{database}/{table}/{uuid}', '{replica}')
да как то так
но насколько я помню макросов {database} и {table} не опредено ... и лучше вместо них конкретные строковые значения использовать... а {uuid} вроде как генерируется движком Atomic в runtime не подгружая из <macros>
источник

СЛ

Станислав Линник... in ClickHouse не тормозит
Я понял в чем проблема, проблема в ZK, лаг большой, в клауде видимо совсем медленные диски.
Посмотрел еще раз мету в ZK и сейчас она удалилась.
Спасибо @BloodJazMan
источник

S

Slach in ClickHouse не тормозит
Станислав Линник
что то около новой
20.10.6.27-2
на Atomic в 20.9 перескачили
источник

СЛ

Станислав Линник... in ClickHouse не тормозит
Slach
да как то так
но насколько я помню макросов {database} и {table} не опредено ... и лучше вместо них конкретные строковые значения использовать... а {uuid} вроде как генерируется движком Atomic в runtime не подгружая из <macros>
Можно можно, даже в руководстве это есть
источник

S

Slach in ClickHouse не тормозит
Станислав Линник
Я понял в чем проблема, проблема в ZK, лаг большой, в клауде видимо совсем медленные диски.
Посмотрел еще раз мету в ZK и сейчас она удалилась.
Спасибо @BloodJazMan
нет, Atomic ждет 480 секунд перед тем как реально с диска удалить
источник

S

Slach in ClickHouse не тормозит
Станислав Линник
Можно можно, даже в руководстве это есть
а скиньте ссылку?
источник

СЛ

Станислав Линник... in ClickHouse не тормозит
Slach
а скиньте ссылку?
источник

СЛ

Станислав Линник... in ClickHouse не тормозит
Slach
нет, Atomic ждет 480 секунд перед тем как реально с диска удалить
а можно ссылку про это в ответ? :)
источник

S

Slach in ClickHouse не тормозит
да действительно =)
забавно
https://github.com/ClickHouse/ClickHouse/commit/bb8e6af8327e5e13f1b615c41bb3b6a77297d48f
не так давно добавили 3 месяца назад
источник

S

Slach in ClickHouse не тормозит
Станислав Линник
а можно ссылку про это в ответ? :)
источник

СЛ

Станислав Линник... in ClickHouse не тормозит
Жаль, что в документации об atomic ничего нет =/
источник

S

Slach in ClickHouse не тормозит
Станислав Линник
Жаль, что в документации об atomic ничего нет =/
Да вообще блин зло. сделали фичу а всей документации 3 строчки
https://clickhouse.tech/docs/en/engines/database-engines/atomic/
источник

E

Edya in ClickHouse не тормозит
Коллеги, подскажите, пожалуйста, как должен выглядеть конфиг для кафки, когда нужно иметь две разные учетки для разных топиков.

Сейчас так:

--kafka.xml в config.d/
<?xml version="1.0"?>
<yandex>
  <kafka>
<sasl_mechanism>PLAIN</sasl_mechanism>
       <security_protocol>SASL_PLAINTEXT</security_protocol>
<sasl_username>user</sasl_username>
<sasl_password>pass</sasl_password>
  </kafka>
  <kafka_topic_my-topic>
<sasl_mechanism>PLAIN</sasl_mechanism>
       <security_protocol>SASL_PLAINTEXT</security_protocol>
<sasl_username>user2</sasl_username>
<sasl_password>pass2</sasl_password>
  </kafka_topic_my-topic>
</yandex>


Первая таблица работает.
А вот вторая нет (в ней указано kafka_topic_list = 'my-topic')

Есть идеи? (сервер перезагружал)
Пробоавал вариант и явно указать <kafka_topic_my-first-topic> - не работает. Ему ‘-’ не нравится?
источник

D

Dj in ClickHouse не тормозит
Vadim Metikov
Привет всем.  Может,  кто сталкивался с ограничением мерджей?  В одной таблице в партиции уже 1000 партов,  иногда в логах вижу задержку вставки на 8мс, больше ничего необычного не вижу,  партиции небольшие, может есть какие-то параметры?
max_bytes_to_merge_at_max_space_in_pool  161061273600

больше этого размера парта мерджи не будут происходить

так же мерджи не будут происходить на больших партах если меньше 8 (number_of_free_entries_in_pool_to_lower_max_size_of_merge) потоков свободно в пуле
источник

E

Edya in ClickHouse не тормозит
Edya
Коллеги, подскажите, пожалуйста, как должен выглядеть конфиг для кафки, когда нужно иметь две разные учетки для разных топиков.

Сейчас так:

--kafka.xml в config.d/
<?xml version="1.0"?>
<yandex>
  <kafka>
<sasl_mechanism>PLAIN</sasl_mechanism>
       <security_protocol>SASL_PLAINTEXT</security_protocol>
<sasl_username>user</sasl_username>
<sasl_password>pass</sasl_password>
  </kafka>
  <kafka_topic_my-topic>
<sasl_mechanism>PLAIN</sasl_mechanism>
       <security_protocol>SASL_PLAINTEXT</security_protocol>
<sasl_username>user2</sasl_username>
<sasl_password>pass2</sasl_password>
  </kafka_topic_my-topic>
</yandex>


Первая таблица работает.
А вот вторая нет (в ней указано kafka_topic_list = 'my-topic')

Есть идеи? (сервер перезагружал)
Пробоавал вариант и явно указать <kafka_topic_my-first-topic> - не работает. Ему ‘-’ не нравится?
Ошибки выглядят так, похоже пытается подключится с учеткой из блока kafka, а не kafka_topic_*

2021.01.26 13:24:13.250765 [ 86107 ] {dc25d001-a117-429b-a4c4-650c53843394} <Error> StorageKafka (my-topic): Consumer error: Broker: Group authorization failed
2021.01.26 13:24:13.250815 [ 86107 ] {dc25d001-a117-429b-a4c4-650c53843394} <Error> StorageKafka (my-topic): There were 1 messages with an error
2021.01.26 13:24:13.250847 [ 86107 ] {dc25d001-a117-429b-a4c4-650c53843394} <Error> StorageKafka (my-topic): Only errors left
2021.01.26 13:24:41.924235 [ 86123 ] {cb82ab86-6c37-4f4b-85e1-d076d50b19e7} <Warning> StorageKafka (my-topic): Can't get assignment. It can be caused by some issue with consumer group (not enough partitions?). Will keep trying.
источник

F

Fooboo in ClickHouse не тормозит
Всем привет!

Помогите пожалуйста с вопросом:
Есть строка и я хочу в ней заменить AA на FOO, BB на BOO и CC на DOO.

Есть ли решение оптимальнее, чем 3 вложенных replaceOne()?
replaceOne(replaceOne(replaceOne(s, 'AA', 'FOO'), ...), ...)
источник

K

KiLEX 萊赫 in ClickHouse не тормозит
Fooboo
Всем привет!

Помогите пожалуйста с вопросом:
Есть строка и я хочу в ней заменить AA на FOO, BB на BOO и CC на DOO.

Есть ли решение оптимальнее, чем 3 вложенных replaceOne()?
replaceOne(replaceOne(replaceOne(s, 'AA', 'FOO'), ...), ...)
я лучше не нашел =)
+1 тоже интересно
источник