Size: a a a

ClickHouse не тормозит

2021 March 15

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Maxim Mezhekov
Если это тривиально, может ткнете в меня ссылкой, я буду благодарен.
я не понял как вы поменяли policy и когда ругалось? В момент рестарта что-ли?
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Danil
перепробовал всяческие варианты задания параметров для remote() - всегда ошибка таймаута ((
пинг сколько между серверами?
источник

D

Danil in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
пинг сколько между серверами?
Хосты в локалке пинг около 1 мс
источник

D

Danil in ClickHouse не тормозит
Причем ошибка таймаута вылетает практически сразу
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Danil
Хосты в локалке пинг около 1 мс
ну а если на одном сервере сделать curl ipвторого:9000
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Danil
Хосты в локалке пинг около 1 мс
remote(.... system,one) работает?
источник

AK

Andrew Kochen in ClickHouse не тормозит
Всем привет.
Подскажите, что будет если у таблицы с движком Kafka будет на кластере в сумме больше kafka_num_consumers, что партиций в топике?
К примеру, сейчас 24 хоста, и на нужный топик 36 партиций
если на каждом хосте поставить kafka_num_consumer = 3 - что будет?
КХ сможет поделить какие-то партиции или просто первыве 12 хостов заберут все 36 партиций?
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Andrew Kochen
Всем привет.
Подскажите, что будет если у таблицы с движком Kafka будет на кластере в сумме больше kafka_num_consumers, что партиций в топике?
К примеру, сейчас 24 хоста, и на нужный топик 36 партиций
если на каждом хосте поставить kafka_num_consumer = 3 - что будет?
КХ сможет поделить какие-то партиции или просто первыве 12 хостов заберут все 36 партиций?
КХ ничего не делит, кафка брокер делит. Как повезет, кому-то может не хватить. Брокер не понимает что у вас 3 консьюмера на одном хосте.
источник

MM

Maxim Mezhekov in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
я не понял как вы поменяли policy и когда ругалось? В момент рестарта что-ли?
нашли косяк при добавлении диска, в диске был корень другого (старого и пустого клика) по этой причине ругалось, в итоге сделал вот так
 <storage_configuration>
       <disks>
           <disk2>
               <path>/var/lib/clickhouse_2/</path>
           </disk2>
           <disk3>
               <path>/var/lib/clickhouse_3/</path>
               <keep_free_space_bytes>21474836480</keep_free_space_bytes>
           </disk3>
       </disks>
          <policies>
           <default>
               <volumes>
                   <default>
                       <disk>default</disk>
                       <disk>disk2</disk>
                       <disk>disk3</disk>
                   </default>
           </volumes>
           <move_factor>0.1</move_factor>
         </default>
       </policies>
   </storage_configuration>
все взлетело
источник

D

Danil in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
remote(.... system,one) работает?
curl работает
curl 10.88.5.200:9000
Port 9000 is for clickhouse-client program.
You must use port 8123 for HTTP.


а remote нет
SELECT *
FROM remote('10.88.5.200', system.one)

Query id: 731a171e-6ca1-4d1f-a7b9-de53fa8a8d2f


0 rows in set. Elapsed: 0.109 sec.

Received exception from server (version 21.2.4):
Code: 209. DB::Exception: Received from localhost:9000. DB::Exception: Timeout exceeded while reading from socket (10.88.5.200:9000): while receiving packet from 10.88.5.200:9000: While executing Remote.
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Danil
curl работает
curl 10.88.5.200:9000
Port 9000 is for clickhouse-client program.
You must use port 8123 for HTTP.


а remote нет
SELECT *
FROM remote('10.88.5.200', system.one)

Query id: 731a171e-6ca1-4d1f-a7b9-de53fa8a8d2f


0 rows in set. Elapsed: 0.109 sec.

Received exception from server (version 21.2.4):
Code: 209. DB::Exception: Received from localhost:9000. DB::Exception: Timeout exceeded while reading from socket (10.88.5.200:9000): while receiving packet from 10.88.5.200:9000: While executing Remote.
у вас пустой пароль?
источник

D

Danil in ClickHouse не тормозит
да, пароль пустой пользователь default
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Danil
да, пароль пустой пользователь default
тогда в логе КХ надо смотреть, что за фигня
источник

V

Vladimir in ClickHouse не тормозит
Oleg Bazdyrev
а нет ли в Clickhouse пользовательского типа set, как array, только с уникальными значениями?
источник

D

Danil in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
тогда в логе КХ надо смотреть, что за фигня
понял, буду там искать
спасибо
источник

K

Kid in ClickHouse не тормозит
Добрый вечер. Подскажите, почему КХ забирает много памяти? Запросы в него практически не выполняются. Есть вставки и парочку МВ, несколько десятков словарей.
берет 40 ГБ оперативы.
источник

V

Vladimir in ClickHouse не тормозит
Kid
Добрый вечер. Подскажите, почему КХ забирает много памяти? Запросы в него практически не выполняются. Есть вставки и парочку МВ, несколько десятков словарей.
берет 40 ГБ оперативы.
Видимо, словари и съедают. Посмотрите таблицу system.dictionaries, колонка bytes_allocated
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Kid
Добрый вечер. Подскажите, почему КХ забирает много памяти? Запросы в него практически не выполняются. Есть вставки и парочку МВ, несколько десятков словарей.
берет 40 ГБ оперативы.
почему вы так думаете? И почему он не должен забирать? КХ не высвобождает память моментально.
источник

FL

Fedor Loktionov in ClickHouse не тормозит
Привет.
Подскажите, что является значением по умолчанию в секции SAMPLE BY для движка MergeTree?
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Fedor Loktionov
Привет.
Подскажите, что является значением по умолчанию в секции SAMPLE BY для движка MergeTree?
нету
источник