Телеграмм чат группы clickhouse

Size: a a a

ClickHouse не тормозит

2021 February 19

Скорость работы ограничено в Mysql как это можете объяснить? Какие есть варианты для репликаций с mariadb в clickhouse можете подсказать?

источник

14:26пожаловаться #1

F🚜

Felixoid 🚜🇩🇪... in ClickHouse не тормозит

Хм, а есть способ применить allow_experimental_alter_materialized_view_structure = 1 к запросу ALTER TABLE gentime.index ON CLUSTER all_servers MODIFY QUERY?

источник

14:26пожаловаться #2

Asen Erden in ClickHouse не тормозит

у нас mariadb galera cluster.

источник

14:27пожаловаться #3

Igor in ClickHouse не тормозит

Dmitry Titov

Я про изменение сеттинга костыль,

а так если у них на 1 топик больше одной кафка таблицы то это неправильно конечно

нет, у нас на один топик по одной kafka таблице. каждый тип события в отдельном топике. но как выясняется такая архитектура приводит к повышенной нагрузке на ch пр. большом количестве типов евентов.

источник

14:29пожаловаться #4

Dmitry Titov in ClickHouse не тормозит

Igor

Если схема +- одна и таже, можно одной кафка таблицой подписатся на несколько топиков

источник

14:30пожаловаться #5

F🚜

Felixoid 🚜🇩🇪... in ClickHouse не тормозит

Felixoid 🚜🇩🇪

Хм, а есть способ применить allow_experimental_alter_materialized_view_structure = 1 к запросу ALTER TABLE gentime.index ON CLUSTER all_servers MODIFY QUERY?

кажется, проблема более общая. Есть способ передать settings при ON CLUSTER ddl?

https://github.com/ClickHouse/ClickHouse/issues/6107

GitHub

ON CLUSTER ddl don't pass the settings · Issue #6107 · ClickHouse/ClickHouse

It makes it impossible to create tables with experimental features: SET allow_experimental_data_skipping_indices = 1 Ok. 0 rows in set. Elapsed: 0.001 sec. chi-test-replicated-0-0-0.chi-test-replic...

источник

14:31пожаловаться #6

lnuynxa in ClickHouse не тормозит

Felixoid 🚜🇩🇪

Хм, а есть способ применить allow_experimental_alter_materialized_view_structure = 1 к запросу ALTER TABLE gentime.index ON CLUSTER all_servers MODIFY QUERY?

дописать SETTINGS не работает?
видимо нет

источник

14:32пожаловаться #7

F🚜

Felixoid 🚜🇩🇪... in ClickHouse не тормозит

lnuynxa

дописать SETTINGS не работает?
видимо нет

нет, не передаётся. Та же самая ошибка

источник

14:32пожаловаться #8

Igor in ClickHouse не тормозит

Dmitry Titov

Если схема +- одна и таже, можно одной кафка таблицой подписатся на несколько топиков

схемы разные, и если только парить данные в одно string поле с форматом JSONAsString, и дальше распарсивать функциями работы с json. но изначально хотелось этого избежать, чтобы в дальнейшем использовать другие более оптимизированные форматы (авро, например)

источник

14:33пожаловаться #9

Mishanya in ClickHouse не тормозит

Felixoid 🚜🇩🇪

Хм, а есть способ применить allow_experimental_alter_materialized_view_structure = 1 к запросу ALTER TABLE gentime.index ON CLUSTER all_servers MODIFY QUERY?

а если сделать set allow_experimental_alter_materialized_view_structure = 1 и выполнить запрос ?
у вас в рамках сессии эта настройка будет только выкручена

источник

14:39пожаловаться #10

F🚜

Felixoid 🚜🇩🇪... in ClickHouse не тормозит

Mishanya

тоже не передаётся, https://github.com/ClickHouse/ClickHouse/issues/6107

GitHub

ON CLUSTER ddl don't pass the settings · Issue #6107 · ClickHouse/ClickHouse

источник

14:39пожаловаться #11

F🚜

Felixoid 🚜🇩🇪... in ClickHouse не тормозит

более того, я даже опцию в профиле для пользователя кластера указал, и оно всё равно не работает

источник

14:58пожаловаться #12

F🚜

Felixoid 🚜🇩🇪... in ClickHouse не тормозит

<yandex>
  <remote_servers>
    <all_servers>
      <shard>
        <internal_replication>false</internal_replication>
        <replica>
          <host>hostname</host>
          <port>9440</port>
          <secure>1</secure>
          <user>distributed</user>
          <password>pass</password>
......
<yandex>
  <profiles>
    <distributed>
      <profile>carbon</profile>
      <allow_experimental_alter_materialized_view_structure>1</allow_experimental_alter_materialized_view_structure>
    </distributed>
  </profiles>
  <users>
    <distributed>
      <password_sha256_hex>8edce748202458e7b40ea0d6c624d19aff68ec627f37213ecf847d0f744549ac</password_sha256_hex>
      <networks>
        <ip>::/0</ip>
      </networks>
      <profile>distributed</profile>
      <quota>default</quota>
    </distributed>
  </users>
</yandex>

источник

15:03пожаловаться #13

F🚜

Felixoid 🚜🇩🇪... in ClickHouse не тормозит

локально работает, при добавлении ON CLUSTER all_servers - всё ломается, даже на этом же самом сервере

источник

15:06пожаловаться #14

Mishanya in ClickHouse не тормозит

Felixoid 🚜🇩🇪

<yandex>
  <remote_servers>
    <all_servers>
      <shard>
        <internal_replication>false</internal_replication>
        <replica>
          <host>hostname</host>
          <port>9440</port>
          <secure>1</secure>
          <user>distributed</user>
          <password>pass</password>
......
<yandex>
  <profiles>
    <distributed>
      <profile>carbon</profile>
      <allow_experimental_alter_materialized_view_structure>1</allow_experimental_alter_materialized_view_structure>
    </distributed>
  </profiles>
  <users>
    <distributed>
      <password_sha256_hex>8edce748202458e7b40ea0d6c624d19aff68ec627f37213ecf847d0f744549ac</password_sha256_hex>
      <networks>
        <ip>::/0</ip>
      </networks>
      <profile>distributed</profile>
      <quota>default</quota>
    </distributed>
  </users>
</yandex>

какая у вас версия кх ?

источник

15:07пожаловаться #15

F🚜

Felixoid 🚜🇩🇪... in ClickHouse не тормозит

latest LTS 20.8.12.2

источник

15:07пожаловаться #16

lnuynxa in ClickHouse не тормозит

Felixoid 🚜🇩🇪

<yandex>
  <remote_servers>
    <all_servers>
      <shard>
        <internal_replication>false</internal_replication>
        <replica>
          <host>hostname</host>
          <port>9440</port>
          <secure>1</secure>
          <user>distributed</user>
          <password>pass</password>
......
<yandex>
  <profiles>
    <distributed>
      <profile>carbon</profile>
      <allow_experimental_alter_materialized_view_structure>1</allow_experimental_alter_materialized_view_structure>
    </distributed>
  </profiles>
  <users>
    <distributed>
      <password_sha256_hex>8edce748202458e7b40ea0d6c624d19aff68ec627f37213ecf847d0f744549ac</password_sha256_hex>
      <networks>
        <ip>::/0</ip>
      </networks>
      <profile>distributed</profile>
      <quota>default</quota>
    </distributed>
  </users>
</yandex>

юзер нужен дефолтный

источник

15:07пожаловаться #17

F🚜

Felixoid 🚜🇩🇪... in ClickHouse не тормозит

lnuynxa

юзер нужен дефолтный

<replica>
...
          <user>distributed</user>

несмотря на то, что указан пользователь для кластера?

источник

15:08пожаловаться #18

lnuynxa in ClickHouse не тормозит

Felixoid 🚜🇩🇪

<replica>
...
          <user>distributed</user>

несмотря на то, что указан пользователь для кластера?

Да, ведь выполняет запрос бекграунд пул

источник

15:10пожаловаться #19

F🚜

Felixoid 🚜🇩🇪... in ClickHouse не тормозит

а, из зукипера?..

источник

15:10пожаловаться #20