Size: a a a

ClickHouse не тормозит

2020 July 07

DC

Denny Crane (I don't... in ClickHouse не тормозит
Vladimir Bunchuk
еще вопрос есть
у меня первое чтение из таблицы с движком Kafka прошло нормально и данные записались через матвью в MergeTree табличку

но теперь запись остановилась и в кафке лаг по этой группе
в логах ошибок тоже не вижу
включить debug на kafka , скорее всего не может распарсить сообщение
источник

BB

Bral Bral in ClickHouse не тормозит
Имеется таблица с buffer, которая будет сбрасывать в таблицу engine=null, на которую настроены mv для последующего распределения данных. Если при вставке в каком-то mv выдаст ошибку, буферизированный кусок данных потеряется ?
источник

VB

Vladimir Bunchuk in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
включить debug на kafka , скорее всего не может распарсить сообщение
это в кликхаусе или в самой кафке?
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Pavlo Bashynskiy
Привет. Очень хочется чтоб CH заполнил еще одну нишу в системе мониторинга и начал собирать данньіе трасировки от Jaeger. Єто позволит не держать отдельньій сторедж в инфраструктуре, специально для Jaeger, когда все остальное уже хранится в CH.
Сейчас завершение плагина CH для Jaeger сдерживают єта проблема в CH
https://github.com/ClickHouse/ClickHouse/issues/11564
и кажется єта https://github.com/ClickHouse/ClickHouse/issues/11482
Что необходимо чтоб пофорсить єти иш’юсьі?
в этом чате точно ответа нет. И это очень очень минорная проблема, и очень нетрадиционное использование КХ
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Bral Bral
Имеется таблица с buffer, которая будет сбрасывать в таблицу engine=null, на которую настроены mv для последующего распределения данных. Если при вставке в каком-то mv выдаст ошибку, буферизированный кусок данных потеряется ?
да
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Vladimir Bunchuk
это в кликхаусе или в самой кафке?
в кх
источник

BB

Bral Bral in ClickHouse не тормозит
Благодарю.
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Ilya Reshetnikov
Добрый день. Подскажите пожалуйста собираю кластер по примеру https://www.altinity.com/blog/2018/5/10/circular-replication-cluster-topology-in-clickhouse. Таблицы создал без ошибок. Делаю INSERT данных, данные распределяются на три ноды.  При SELECT count(*) FROM default.tables_name на каждой ноде значение одинаковое, но при SELECT count(*) FROM default.dtables_name созданая с движком Distributed значение разные получаются, почему так может быть?
ну  баг где-то в описании кластера, если добавить в запрос к distributed select hostName() - думаю станет понятнее
источник

AB

Armen Babajanyan in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
SELECT empid, deptid, salary,salaries[1], rank
Спасибо, возможно, я делаю что-то не то, но так он выводит первое значение во всей таблице, а мне нужно первое значение внутри каждой "партиции" deptid
источник

IR

Ilya Reshetnikov in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
ну  баг где-то в описании кластера, если добавить в запрос к distributed select hostName() - думаю станет понятнее
что тут может быть не так?
<yandex>
 <remote_servers>
   <cluser>
     <shard>
         <internal_replication>true</internal_replication>
         <replica>
             <default_database>shard_1</default_database>
             <host>192.168.56.1</host>
             <port>9000</port>
         </replica>
         <replica>
             <default_database>shard_1</default_database>
             <host>192.168.56.2</host>
             <port>9000</port>
         </replica>
     </shard>
     <shard>
         <internal_replication>true</internal_replication>
         <replica>
             <default_database>shard_2</default_database>
             <host>192.168.56.2</host>
             <port>9000</port>
         </replica>
         <replica>
             <default_database>shard_2</default_database>
             <host>192.168.56.3</host>
             <port>9000</port>
         </replica>
     </shard>
     <shard>
         <internal_replication>true</internal_replication>
         <replica>
              <default_database>shard_3</default_database>
             <host>192.168.56.3</host>
             <port>9000</port>
         </replica>
         <replica>
             <default_database>shard_3</default_database>
             <host>192.168.56.1</host>
             <port>9000</port>
         </replica>
     </shard>
   </cluser>
 </remote_servers>
</yandex>
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Armen Babajanyan
Спасибо, возможно, я делаю что-то не то, но так он выводит первое значение во всей таблице, а мне нужно первое значение внутри каждой "партиции" deptid
типа ранк сквозь все департаменты и плюс минимальную зарплату в каждом?
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Armen Babajanyan
Спасибо, возможно, я делаю что-то не то, но так он выводит первое значение во всей таблице, а мне нужно первое значение внутри каждой "партиции" deptid
salaries[rank] ?
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
а нет, все равно будет не тот
источник

AB

Armen Babajanyan in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
типа ранк сквозь все департаменты и плюс минимальную зарплату в каждом?
в итоге ожидаю такую картину)
источник

DT

Dmitry Titov in ClickHouse не тормозит
runningAccumulate мб?
источник

DT

Dmitry Titov in ClickHouse не тормозит
Armen Babajanyan
в итоге ожидаю такую картину)
а ну если у вас через массивы, то лучше тогда

arrayFill((x,y,z)-> (y!=deptids[y]),salaries,deptids,range(length(salaries)))
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Ilya Reshetnikov
что тут может быть не так?
<yandex>
 <remote_servers>
   <cluser>
     <shard>
         <internal_replication>true</internal_replication>
         <replica>
             <default_database>shard_1</default_database>
             <host>192.168.56.1</host>
             <port>9000</port>
         </replica>
         <replica>
             <default_database>shard_1</default_database>
             <host>192.168.56.2</host>
             <port>9000</port>
         </replica>
     </shard>
     <shard>
         <internal_replication>true</internal_replication>
         <replica>
             <default_database>shard_2</default_database>
             <host>192.168.56.2</host>
             <port>9000</port>
         </replica>
         <replica>
             <default_database>shard_2</default_database>
             <host>192.168.56.3</host>
             <port>9000</port>
         </replica>
     </shard>
     <shard>
         <internal_replication>true</internal_replication>
         <replica>
              <default_database>shard_3</default_database>
             <host>192.168.56.3</host>
             <port>9000</port>
         </replica>
         <replica>
             <default_database>shard_3</default_database>
             <host>192.168.56.1</host>
             <port>9000</port>
         </replica>
     </shard>
   </cluser>
 </remote_servers>
</yandex>
и этот конфиг одинаковый на всех серверах?
а таблицы replicated ?
а select count() from shard_1. совпадают на репликах?
источник

IR

Ilya Reshetnikov in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
и этот конфиг одинаковый на всех серверах?
а таблицы replicated ?
а select count() from shard_1. совпадают на репликах?
конфиг на всех серверах одинаковый. select count() from shard_1 на репликах не совподат
таблицы ReplicatedMergeTree создаю
server-1:
CREATE TABLE shard_1.tc_shard ... ENGINE = ReplicatedMergeTree( '/clickhouse/tables/shard_1/events', '{replica00}', date, (intHash32(user_id), intHash32(login), date), 8192);
CREATE TABLE shard_3.tc_shard ... ENGINE = ReplicatedMergeTree( '/clickhouse/tables/shard_3/events', '{replica01}', date, (intHash32(user_id), intHash32(login), date), 8192);

server-2:

CREATE TABLE shard_3.tc_shard ... ENGINE = ReplicatedMergeTree( '/clickhouse/tables/shard_3/events', '{replica00}', date, (intHash32(user_id), intHash32(login), date), 8192);
CREATE TABLE shard_2.tc_shard ... ENGINE = ReplicatedMergeTree( '/clickhouse/tables/shard_2/events', '{replica01}', date, (intHash32(user_id), intHash32(login), date), 8192);

server-3:
CREATE TABLE shard_2.tc_shard ... ENGINE = ReplicatedMergeTree( '/clickhouse/tables/shard_2/events', '{replica00}', date, (intHash32(user_id), intHash32(login), date), 8192);
CREATE TABLE shard_1.tc_shard ... ENGINE = ReplicatedMergeTree( '/clickhouse/tables/shard_1/events', '{replica01}', date, (intHash32(user_id), intHash32(login), date), 8192);
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Ilya Reshetnikov
конфиг на всех серверах одинаковый. select count() from shard_1 на репликах не совподат
таблицы ReplicatedMergeTree создаю
server-1:
CREATE TABLE shard_1.tc_shard ... ENGINE = ReplicatedMergeTree( '/clickhouse/tables/shard_1/events', '{replica00}', date, (intHash32(user_id), intHash32(login), date), 8192);
CREATE TABLE shard_3.tc_shard ... ENGINE = ReplicatedMergeTree( '/clickhouse/tables/shard_3/events', '{replica01}', date, (intHash32(user_id), intHash32(login), date), 8192);

server-2:

CREATE TABLE shard_3.tc_shard ... ENGINE = ReplicatedMergeTree( '/clickhouse/tables/shard_3/events', '{replica00}', date, (intHash32(user_id), intHash32(login), date), 8192);
CREATE TABLE shard_2.tc_shard ... ENGINE = ReplicatedMergeTree( '/clickhouse/tables/shard_2/events', '{replica01}', date, (intHash32(user_id), intHash32(login), date), 8192);

server-3:
CREATE TABLE shard_2.tc_shard ... ENGINE = ReplicatedMergeTree( '/clickhouse/tables/shard_2/events', '{replica00}', date, (intHash32(user_id), intHash32(login), date), 8192);
CREATE TABLE shard_1.tc_shard ... ENGINE = ReplicatedMergeTree( '/clickhouse/tables/shard_1/events', '{replica01}', date, (intHash32(user_id), intHash32(login), date), 8192);
server-1 - 192.168.56.1
server-2 - 192.168.56.2
server-3  - 192.168.56.3
?
не совпадает тогда
источник

И

Игельшнойцхен... in ClickHouse не тормозит
/stat@combot
источник