Size: a a a

ClickHouse не тормозит

2020 September 29

DT

Dmitry Titov in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
is_local будет 1 у всех реплик
Ну у DJ 20.3, там вроде еще старое?
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
либо experimental_use_processors=0
либо distributed_aggregation_memory_efficient=0
но это тоже вряд ли причина
источник

D

Dj in ClickHouse не тормозит
Dmitry Titov
а если проверить это в системных таблицах?
SELECT * FROM system.replicas;
is_local нет совсем
источник

DT

Dmitry Titov in ClickHouse не тормозит
Dj
is_local нет совсем
SELECT * FROM system.clusters;
А тут?
источник

D

Dj in ClickHouse не тормозит
Dj
    <mycluster>
     <shard>
        <replica>
               <host>host-01-ro.domain.net</host>
               <port>9000</port>
       </replica>
       <replica>
               <host>host-02-ro.domain.net</host>
               <port>9000</port>
       </replica>
               <replica>
               <host>host-03-tr.domain.net</host>
               <port>9000</port>
       </replica>
       <replica>
               <host>host-04-tr.domain.net</host>
               <port>9000</port>
       </replica>
         </shard>
   </mycluster>


может ли он "не мочь" определить локалхост из за того что в конфиге FQDN, а hostName() берет из host?
интересный путь к ЗК
/clickhouse/mycluster/default/testreplicatedmt/replicas/10.10.5.41

т.е. IP
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
для теста добавить

<replica>
               <host>
localhost</host>
               <port>9000</port>
       </replica>
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Dj
интересный путь к ЗК
/clickhouse/mycluster/default/testreplicatedmt/replicas/10.10.5.41

т.е. IP
это то из макроса '{replica}'
источник

D

Dj in ClickHouse не тормозит
Dmitry Titov
SELECT * FROM system.clusters;
А тут?
тут is_local правильный
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Dj
тут is_local правильный
там is_local=1 у всех 4х серверов?
источник

D

Dj in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
это то из макроса '{replica}'
сорри да, это не про это
источник

D

Dj in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
там is_local=1 у всех 4х серверов?
нет, на котором запускаю у того is_local=1
источник

D

Dj in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
для теста добавить

<replica>
               <host>
localhost</host>
               <port>9000</port>
       </replica>
попробую это, остальные убрать для чистоты может и вообще кластер из одного нода оставить?
источник

D

Dj in ClickHouse не тормозит
    <localhostcluster>
     <shard>
        <replica>
               <host>localhost</host>
               <port>9000</port>
       </replica>
    </shard>
   </localhostcluster>
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Dj
попробую это, остальные убрать для чистоты может и вообще кластер из одного нода оставить?
можно вот так

select top 20 A, S from remote('localhost', default.testreplicatedmt) order by S Format Null;
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
потом

select top 20 A, S from remote('host-01-ro.domain.net|host-02-ro.domain.net', default.testreplicatedmt) order by S Format Null;
источник

D

Dj in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
для теста добавить

<replica>
               <host>
localhost</host>
               <port>9000</port>
       </replica>
с кластером из одного локалхоста тоже тупит
0 rows in set. Elapsed: 10.001 sec. Processed 100.00 million rows, 3.64 GB (10.00 million rows/s., 363.96 MB/s.)
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Dj
с кластером из одного локалхоста тоже тупит
0 rows in set. Elapsed: 10.001 sec. Processed 100.00 million rows, 3.64 GB (10.00 million rows/s., 363.96 MB/s.)
либо experimental_use_processors=0
либо distributed_aggregation_memory_efficient=0
источник

D

Dj in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
можно вот так

select top 20 A, S from remote('localhost', default.testreplicatedmt) order by S Format Null;
тоже печаль
0 rows in set. Elapsed: 8.752 sec. Processed 100.00 million rows, 3.64 GB (11.43 million rows/s., 415.88 MB/s.)
источник

D

Dj in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
либо experimental_use_processors=0
либо distributed_aggregation_memory_efficient=0
бинго, при experimental_use_processors=0 КХ не тормозит (с)
источник

D

Dj in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
либо experimental_use_processors=0
либо distributed_aggregation_memory_efficient=0
самый первый distributed по кластеру тоже норм пошел
источник