Size: a a a

ClickHouse не тормозит

2021 March 21

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Roman Tarasov
всем привет!
помогите пожалуйста
на одном шарде, в двух из трех реплик отставание репликации
таблицы одни и те же
этому предшевстовало too many parts
Select from system.replication_queue
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Roman Tarasov
и из-за рассинхрона как я понимаю парты не смержились и новые вставки в эти реплики не работают
Нет
источник

RT

Roman Tarasov in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
Select from system.replication_queue
database:               stats
table:                  advertisers_selective_bidding_1573558672
replica_name:           clickhouse-replica2
position:               1
node_name:              queue-0000879340
type:                   GET_PART
create_time:            2021-03-19 18:45:28
required_quorum:        0
source_replica:         clickhouse-replica
new_part_name:          202103_50747_50747_0
parts_to_merge:         []
is_detach:              0
is_currently_executing: 0
num_tries:              0
last_exception:
last_attempt_time:      0000-00-00 00:00:00
num_postponed:          270
postpone_reason:        Not executing log entry for part 202103_50747_50747_0 because it is covered by part 202103_48771_51643_87 that is currently executing
last_postpone_time:     2021-03-21 08:50:54
источник

RT

Roman Tarasov in ClickHouse не тормозит
из проблемных таблиц
источник

RT

Roman Tarasov in ClickHouse не тормозит
database:               stats
table:                  advertisers_selective_bidding_1573558672
replica_name:           clickhouse-replica2
position:               0
node_name:              queue-0000879323
type:                   GET_PART
create_time:            2021-03-19 18:35:29
required_quorum:        0
source_replica:         clickhouse-replica
new_part_name:          202103_50730_50730_0
parts_to_merge:         []
is_detach:              0
is_currently_executing: 0
num_tries:              1
last_exception:         Code: 226, e.displayText() = DB::Exception: Marks file '/var/lib/clickhouse/data/stats/advertisers_selective_bidding_1573558672/tmp_fetch_202103_48771_51643_87/hour_timestamp.mrk' doesn't exist (version 20.3.19.4 (official build))
last_attempt_time:      2021-03-21 08:22:26
num_postponed:          270
postpone_reason:        Not executing log entry for part 202103_50730_50730_0 because it is covered by part 202103_48771_51643_87 that is currently executing
last_postpone_time:     2021-03-21 08:50:54
источник

RT

Roman Tarasov in ClickHouse не тормозит
вот встречается
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Roman Tarasov
database:               stats
table:                  advertisers_selective_bidding_1573558672
replica_name:           clickhouse-replica2
position:               1
node_name:              queue-0000879340
type:                   GET_PART
create_time:            2021-03-19 18:45:28
required_quorum:        0
source_replica:         clickhouse-replica
new_part_name:          202103_50747_50747_0
parts_to_merge:         []
is_detach:              0
is_currently_executing: 0
num_tries:              0
last_exception:
last_attempt_time:      0000-00-00 00:00:00
num_postponed:          270
postpone_reason:        Not executing log entry for part 202103_50747_50747_0 because it is covered by part 202103_48771_51643_87 that is currently executing
last_postpone_time:     2021-03-21 08:50:54
Это норм.
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Roman Tarasov
database:               stats
table:                  advertisers_selective_bidding_1573558672
replica_name:           clickhouse-replica2
position:               0
node_name:              queue-0000879323
type:                   GET_PART
create_time:            2021-03-19 18:35:29
required_quorum:        0
source_replica:         clickhouse-replica
new_part_name:          202103_50730_50730_0
parts_to_merge:         []
is_detach:              0
is_currently_executing: 0
num_tries:              1
last_exception:         Code: 226, e.displayText() = DB::Exception: Marks file '/var/lib/clickhouse/data/stats/advertisers_selective_bidding_1573558672/tmp_fetch_202103_48771_51643_87/hour_timestamp.mrk' doesn't exist (version 20.3.19.4 (official build))
last_attempt_time:      2021-03-21 08:22:26
num_postponed:          270
postpone_reason:        Not executing log entry for part 202103_50730_50730_0 because it is covered by part 202103_48771_51643_87 that is currently executing
last_postpone_time:     2021-03-21 08:50:54
Это надо смотреть на диске и читать лог кх
источник

RT

Roman Tarasov in ClickHouse не тормозит
2021.03.21 08:59:20.638873 [ 7861 ] {} <Trace> stats.advertisers_selective_bidding_1573558672 (Replicated PartsService): Sending part 202103_48771_51643_87
2021.03.21 08:59:20.771248 [ 7882 ] {} <Trace> stats.advertisers_selective_bidding_1573558672 (Replicated PartsService): Sending part 202103_51644_51671_6
источник

RT

Roman Tarasov in ClickHouse не тормозит
вроде как и парты отправляются
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Roman Tarasov
вроде как и парты отправляются
Сколько строк в кью с большими постопон?
источник

RT

Roman Tarasov in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
Сколько строк в кью с большими постопон?
извините, не понял
источник

RT

Roman Tarasov in ClickHouse не тормозит
если остановлю реплику
удалю всё в папке /var/lib/clickhouse/data/stats/advertisers_selective_bidding_1573558672/
источник

RT

Roman Tarasov in ClickHouse не тормозит
будет скачивать заново или ещё проблем добавлю?
источник

D

Dj in ClickHouse не тормозит
Roman Tarasov
будет скачивать заново или ещё проблем добавлю?
добавите проблем. если хотите заново перекачать надо делать force_restore
https://clickhouse.tech/docs/ru/engines/table-engines/mergetree-family/replication/#vosstanovlenie-posle-sboia

Но это не должно решить вашу проблему. может у вас мерджи отстают или диска не хватает? посмотрите в логи ошибок
источник

RT

Roman Tarasov in ClickHouse не тормозит
да
все проблемы начались после too many parts
источник

RT

Roman Tarasov in ClickHouse не тормозит
Dj
добавите проблем. если хотите заново перекачать надо делать force_restore
https://clickhouse.tech/docs/ru/engines/table-engines/mergetree-family/replication/#vosstanovlenie-posle-sboia

Но это не должно решить вашу проблему. может у вас мерджи отстают или диска не хватает? посмотрите в логи ошибок
а на момент восстановления
будет принимать вставки?
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Roman Tarasov
да
все проблемы начались после too many parts
Вряд-ли. Скорее too many parts было следствием того что мержи прекратились из-за проблем репликации. Которые в свою очередь были следствием чего-то еще
источник

RT

Roman Tarasov in ClickHouse не тормозит
мержи прератились
источник

RT

Roman Tarasov in ClickHouse не тормозит
и в эти таблицы при вставке сразу too many parts получаем
источник