Size: a a a

ClickHouse не тормозит

2021 March 03

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Борис Ордынцев
SELECT database, table, count() AS cnt FROM system.parts GROUP BY database, table
┌─database─┬─table────────────┬──cnt─┐
│ gru      │ kposes_sh        │ 2413 │
│ gru      │ kadposes_sh      │ 1424 │

cnt
- стремится к 6000, далее все инсерты отваливаются с ошибкой Too many patrs
активных сколько?
SELECT database, table, count() AS cnt, countIf(active) FROM system.parts
GROUP BY database, table

system.replication_queue
system.merges

возможно стреляет background_fetches_pool_size=3
https://github.com/ClickHouse/ClickHouse/issues/21089
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Andrew Kochen
вообще запрос начинается с коммента /* ddl_entry=query-0002931769 */ DROP TABLE ...
если погрепать по этому номеру, то на одном хосте есть ошибка

Mar  3 15:55:31 {тут host} 2021.03.03 15:55:31.151640 [ 2238 ] {75c3daed-5e1a-41ae-9409-55aba903a3fd} <Error> TCPHandler: Code: 159, e.displayText() = DB::Exception: Watching task {тут path}/query-0002931769 is executing longer than distributed_ddl_task_timeout (=180) seconds. There are 24 unfinished hosts (0 of them are currently active), they are going to execute the query in background, Stack trace:
ниче не понятно теперь совсем.
наверное придется вручную в зк чистить очередь DDDL
источник

БО

Борис Ордынцев... in ClickHouse не тормозит
SELECT database, table, count() AS cnt, countIf(active) FROM system.parts
GROUP BY database, table
┌─database─┬─table────────────────┬──cnt─┬─countIf(active)─┐
│ gru      │ wkeysdata_sh         │ 1838 │            1783 │
│ gru      │ adposes_sh           │ 1350 │              80 │


system.replication_queue
┌─database─┬─table────────────┬──cnt─┐
│ gru      │ wkeysdata_sh     │ 1600 │
│ gru      │ adposes_sh       │ 1693 │

system.merges
0 rows in set.
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Борис Ордынцев
SELECT database, table, count() AS cnt, countIf(active) FROM system.parts
GROUP BY database, table
┌─database─┬─table────────────────┬──cnt─┬─countIf(active)─┐
│ gru      │ wkeysdata_sh         │ 1838 │            1783 │
│ gru      │ adposes_sh           │ 1350 │              80 │


system.replication_queue
┌─database─┬─table────────────┬──cnt─┐
│ gru      │ wkeysdata_sh     │ 1600 │
│ gru      │ adposes_sh       │ 1693 │

system.merges
0 rows in set.
system.replication_queue
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Борис Ордынцев
SELECT database, table, count() AS cnt, countIf(active) FROM system.parts
GROUP BY database, table
┌─database─┬─table────────────────┬──cnt─┬─countIf(active)─┐
│ gru      │ wkeysdata_sh         │ 1838 │            1783 │
│ gru      │ adposes_sh           │ 1350 │              80 │


system.replication_queue
┌─database─┬─table────────────┬──cnt─┐
│ gru      │ wkeysdata_sh     │ 1600 │
│ gru      │ adposes_sh       │ 1693 │

system.merges
0 rows in set.
а ну партиции еще

SELECT database, table, partition,  count() AS cnt, countIf(active) xxx FROM system.parts
GROUP BY database, table, partition
order by xxx desc limit 10
источник

БО

Борис Ордынцев... in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
system.replication_queue
действительно в system.replication_queue есть ошибки
Not executing fetch of part 12_8632_8632_0 because 3 fetches already executing, max 3.
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Борис Ордынцев
действительно в system.replication_queue есть ошибки
Not executing fetch of part 12_8632_8632_0 because 3 fetches already executing, max 3.
значит оно "возможно стреляет background_fetches_pool_size=3"
https://github.com/ClickHouse/ClickHouse/issues/21089
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
мы обсуждаем в отдельных чатиках сколько поставить по дефолту, Яндекс сделал 3 потому что у них 10ГБит линки и летенси низкая
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
было как бы 16 -- но был общий пул, и фетчи и мержи
трех не достаточно если летенси большая
источник

БО

Борис Ордынцев... in ClickHouse не тормозит
То есть стоит установить background_fetches_pool_size = 16 ?
Спасибо вам большое!
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Борис Ордынцев
То есть стоит установить background_fetches_pool_size = 16 ?
Спасибо вам большое!
🙂 , ну я бы 8 поставил.
источник

БО

Борис Ордынцев... in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
🙂 , ну я бы 8 поставил.
как всегда снимаю шляпу перед вами!
источник

MD

M. D. in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
короче, круговая репликация -- говнище нерабочее. Бегите от нее как от огня.

вопрос в чем?
DDDL раньше не работал, и надо было делать все вручную, сейчас работает и базу вычисляет сам (берет из defaultdatabbase).
хорошо, тогда спрошу прямо: будет ли работать следующий запрос (если он вообще правильный ):
ALTER TABLE foo  ON CLUSTER bar  DROP PARTITION '7'
потому, как он возвращает следующую ошибку:
There are two exactly the same ClickHouse instances 127.0.0.1:9000 in cluster bar  (version 20.4.4.18)

тестовая конфигурация проста:
источник

MD

M. D. in ClickHouse не тормозит
<bar>
           <shard>
               <internal_replication>true</internal_replication>
               <replica>
                   <default_database>bar_shard_1</default_database>
                   <host>10.0.0.5</host>
                   <port>9000</port>
               </replica>
               <replica>
                   <default_database>bar_shard_1</default_database>
                   <host>10.0.0.13</host>
                   <port>9000</port>
               </replica>
           </shard>
           <shard>
               <internal_replication>true</internal_replication>
               <replica>                    
                   <default_database>bar_shard_2</default_database>
                   <host>10.0.0.13</host>
                   <port>9000</port>
               </replica>
               <replica>                    
                   <default_database>bar_shard_2</default_database>
                   <host>10.0.0.5</host>
                   <port>9000</port>
               </replica>
           </shard>
       </bar>
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
M. D.
хорошо, тогда спрошу прямо: будет ли работать следующий запрос (если он вообще правильный ):
ALTER TABLE foo  ON CLUSTER bar  DROP PARTITION '7'
потому, как он возвращает следующую ошибку:
There are two exactly the same ClickHouse instances 127.0.0.1:9000 in cluster bar  (version 20.4.4.18)

тестовая конфигурация проста:
а вы сразу не могли вот так запрос задать?
зачем мы играли в партизанов и фашистов, тратили время?

ClickHouse release v20.5.2.7-stable 2020-07-02
Added support for distributed DDL (update/delete/drop partition) on cross replication clusters. #11703 (Nikita Mikhaylov).
источник

MD

M. D. in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
а вы сразу не могли вот так запрос задать?
зачем мы играли в партизанов и фашистов, тратили время?

ClickHouse release v20.5.2.7-stable 2020-07-02
Added support for distributed DDL (update/delete/drop partition) on cross replication clusters. #11703 (Nikita Mikhaylov).
ну, учту на будущее , спасибо!
источник

MM

Maxim Mezhekov in ClickHouse не тормозит
Привет, подскажите, не совсем очевидно в документации написано, есть большой кластер из 12 шардов, в каждом шарде по 2 реплики, есть табличка которая реплицируется, в нее нужно добавить коллонку, как это корректно сделать? сделать ALTER на каждой тачке? или  в одной тачке каждого шарда или может через distrubuted таблицу которая на нее ссылается?
источник

AP

Al. P. in ClickHouse не тормозит
Всем привет. У нас возник определенный юз-кейс и мы думаем, подходит ли Кликхаус для такого (вроде бы да). Надо хранить 100 млрд строк (ок), делать большие сканы (ок), и выгружать большие результаты сканов, допустим сотни миллионов записей. Есть ли какие-нибудь подводные камни с последним?
источник

IE

Ivan EKbfh in ClickHouse не тормозит
Привет!
Ребята, вы забрали https://github.com/ClickHouse/clickhouse_exporter у перконы, те у Егора.
А докер-образа-то планируется собирать? Помочь может чем?
источник

L

Lamobot in ClickHouse не тормозит
Ivan EKbfh
Привет!
Ребята, вы забрали https://github.com/ClickHouse/clickhouse_exporter у перконы, те у Егора.
А докер-образа-то планируется собирать? Помочь может чем?
источник