Телеграмм чат группы clickhouse

Size: a a a

ClickHouse не тормозит

4017 membersпожаловаться на группу

2020 June 18

ЛГ

Леонид Гуменюк... in ClickHouse не тормозит

Спасибо, вопрос решён)
ALTER TABLE foo
MODIFY SETTING max_suspicious_broken_parts = 100;

источник

20:59пожаловаться #1

Yuri in ClickHouse не тормозит

Yuri

всем привет!
подскажите плз, куда копать. В логах появились сообщения вида:

ClusterProxy::SelectStreamFactory - 2020.06.18 15:15:40.833685 [ 3594770 ] {6ef3169c-4189-40f9-bdf2-ecf38cd2aacd} <Warning> ClusterProxy::SelectStreamFactory: Local replica of shard 2 is stale (delay: 260833s.)

смотрю в system.replicas и replication_queue, видно что запрос GET_PART выполняется уже трое суток:

database:               default
table:                  increment_partial
replica_name:           2
position:               0
node_name:              queue-0001979318
type:                   GET_PART
create_time:            2020-06-15 14:48:27
required_quorum:        0
source_replica:         1
new_part_name:          512244339aaecc527f2d37e2c890d6c4_65760_65760_0
parts_to_merge:         []
is_detach:              0
is_currently_executing: 1
num_tries:              1
last_exception:
last_attempt_time:      2020-06-15 14:48:27
num_postponed:          0
postpone_reason:
last_postpone_time:     0000-00-00 00:00:00

помогите разобраться плз что он делает эти три дня, и как его привести в чувство?

запустил system restart replica на таблицу ,
вроде бы ничего не происходит, висит в processes уже 15 минут, в логах ничего полезного не пишет..

источник

23:47пожаловаться #2

2020 June 19

Denny Crane (I don't... in ClickHouse не тормозит

Yuri

какая версия КХ ? Скорее всего лучше перегрузить КХ и скорее всего придется через kill-9

источник

01:32пожаловаться #3

Denny Crane (I don't... in ClickHouse не тормозит

Dmitriy

Вопрос
есть таблица
column1 column2 column3
   a1     a2      a3
   b1     b2      b3  
   ...    ...     ...

какие есть варианты что бы значения из разных колонок в одной строке превратить в строки?
column1 column2 column3
   a1     a1      a1
   a2     a2      a2
   a3     a3      a3
   b1     b2      b3  
   ...    ...     ...

Таблица большая несколько десятков милиардов строк

select arrayJoin([column1,column2,column3]) c, c, c  from (
select    'a1' column1,'a2' column2,'a3' column3 union all
select    'b1','b2','b3'  )

┌─c──┬─c──┬─c──┐
│ b1 │ b1 │ b1 │
│ b2 │ b2 │ b2 │
│ b3 │ b3 │ b3 │
└────┴────┴────┘
┌─c──┬─c──┬─c──┐
│ a1 │ a1 │ a1 │
│ a2 │ a2 │ a2 │
│ a3 │ a3 │ a3 │
└────┴────┴────┘

источник

01:45пожаловаться #4

Dmitriy in ClickHouse не тормозит

Denny Crane (I don't work at Yandex (never did))

select arrayJoin([column1,column2,column3]) c, c, c  from (
select    'a1' column1,'a2' column2,'a3' column3 union all
select    'b1','b2','b3'  )

┌─c──┬─c──┬─c──┐
│ b1 │ b1 │ b1 │
│ b2 │ b2 │ b2 │
│ b3 │ b3 │ b3 │
└────┴────┴────┘
┌─c──┬─c──┬─c──┐
│ a1 │ a1 │ a1 │
│ a2 │ a2 │ a2 │
│ a3 │ a3 │ a3 │
└────┴────┴────┘

дальше можно where дофильтровать я так понимаю

источник

01:47пожаловаться #5

Denny Crane (I don't... in ClickHouse не тормозит

Dmitriy

дальше можно where дофильтровать я так понимаю

я неправильно понял тогда что вам нужно

источник

01:48пожаловаться #6

Dmitriy in ClickHouse не тормозит

одну из строк раздожить на несколько

источник

01:48пожаловаться #7

Dmitriy in ClickHouse не тормозит

а остальные не трогать

источник

01:48пожаловаться #8

Dmitriy in ClickHouse не тормозит

например из 1 записи ( сделать 1.1, 1.2, 1.3 ) a 2, 3.... оставить неизменными

источник

01:49пожаловаться #9

Dmitriy in ClickHouse не тормозит

column1 column2 column3
   a1     a2      a3
   b1     b2      b3  
   ...    ...     ...

источник

01:50пожаловаться #10

Dmitriy in ClickHouse не тормозит

column1 column2 column3
   a1     a1      a1
   a2     a2      a2
   a3     a3      a3
   b1     b2      b3  
   ...    ...     ...

источник

01:50пожаловаться #11

Данияр in ClickHouse не тормозит

Привет всем! Удалять таблицы напрямую в ditributed таблицах нельзя?

источник

08:40пожаловаться #12

Solresl in ClickHouse не тормозит

Что вы имеете в виду?

источник

08:52пожаловаться #13

Solresl in ClickHouse не тормозит

Дистрибьютед таблицы сами данные по факту не хранят, удаляйте сколько хотите.

Таблицы, на которые ссылаются distributed можно удалять также.

источник

08:53пожаловаться #14

Yuri in ClickHouse не тормозит

Denny Crane (I don't work at Yandex (never did))

какая версия КХ ? Скорее всего лучше перегрузить КХ и скорее всего придется через kill-9

version 20.4.4.18
рестарт помог, спасибо!

источник

10:34пожаловаться #15

Данияр in ClickHouse не тормозит

Solresl

Да, я поэтому и говорю, можно ли удалять данные через distributed таблицу

источник

10:37пожаловаться #16

Shazo in ClickHouse не тормозит

Данияр

Да, я поэтому и говорю, можно ли удалять данные через distributed таблицу

видимо мне надо выпить кофе. Что вы хотите удалять через дистрибьютед? Если же хранящиеся данные в таблицах на которые смотрят дистрибьютед, то и запускайте ALTER таблицах с данными, можно с ON CLUSTER.

источник

10:40пожаловаться #17

Данияр in ClickHouse не тормозит

Shazo

Ну, если он ссылается на несколько таблиц в каждой прописывать ALTER TABLE DROP PARTITION

источник

10:41пожаловаться #18

Данияр in ClickHouse не тормозит

Слегка геморно)

источник

10:42пожаловаться #19

Shazo in ClickHouse не тормозит

Данияр

Ну, если он ссылается на несколько таблиц в каждой прописывать ALTER TABLE DROP PARTITION

distributed ссылается на одну таблицу же. Если вы имеет в виду реплики, то вы можете делать запрос ON cluster и тогда применится на всех репликах в этом кластере.

источник

10:42пожаловаться #20