Not executing log entry for part 32-202103_459363_460555_763 because it is covered by part 32-202103_459363_460556_764 that is currently executing                   │ Code: 234, e.displayText() = DB::Exception: No active replica has part 32-202103_459363_460555_763 or covering part (version 19.7.3.9 (official build))          │

сделайте поиск по 32-202103_459363_460556_764 в replication_queue

именно по ней там одна запись

и она не двигается

Row 1:
──────
create_time:     2021-03-06 01:34:02
table:           send_tracking_subject_last_delivered_replicated
postpone_reason:
last_exception:  Code: 234, e.displayText() = DB::Exception: No active replica has part 32-202103_459363_460556_764 or covering part (version 19.7.3.9 (official build))

1 rows in set. Elapsed: 0.003 sec.

Можно выполнить

SYSTEM RESTART REPLICA DB_NAME.send_tracking_subject_last_delivered_replicated;

Тогда кх скипнет эту запись

SYSTEM RESTART REPLICA DB_NAME.send_tracking_subject_last_delivered_replicated;

это на каждой реплике?

а вообще по логам нод надо бы поискать парт
32-202103_459363_460556_764
32-202103_459363_460556_763
Куда они пропали

SYSTEM RESTART REPLICA DB_NAME.send_tracking_subject_last_delivered_replicated;

:) SYSTEM RESTART REPLICA default.send_tracking_subject_last_delivered_replicated;

Syntax error: failed at position 16:

SYSTEM RESTART REPLICA default.send_tracking_subject_last_delivered_replicated;

Expected one of: SET query, USE query, OPTIMIZE query, OPTIMIZE TABLE, Query with output, SHOW PROCESSLIST query, SHOW PROCESSLIST, DESCRIBE, DESC, INSERT query, INSERT INTO, SELECT, DROP, DETACH, EXISTS, SHOW CREATE or DESCRIBE query, SHOW, CREATE, DROP query, EXISTS, ALTER query, ALTER TABLE, WITH, KILL QUERY query, KILL QUERY, SELECT query, RENAME query, RENAME TABLE, CREATE TABLE or ATTACH TABLE query, ATTACH, CHECK TABLE, SHOW TABLES|DATABASES query, SYSTEM query, Query, USE, SET

там была авария в дц, поэтому могли пропасть и они скорее не критичны даже

Похоже версия старая, хм

system restart replicas;

SYSTEM RESTART REPLICAS сделал, но как-то ничего не поменялось

все также Row 1:
──────
create_time:     2021-03-06 01:34:02
table:           send_tracking_subject_last_delivered_replicated
postpone_reason:
last_exception:  Code: 234, e.displayText() = DB::Exception: No active replica has part 32-202103_459363_460556_764 or covering part (version 19.7.3.9 (official build))

1 rows in set. Elapsed: 0.003 sec.

в зукипере этих данных скорее всего и нет

Кол-во записей в очереди не изменилось?

нет

Ок,

Вставка идет в эту таблицу сейчас?

нет

https://github.com/ClickHouse/ClickHouse/issues/10368

Либо можно через DETACH PARTITION & ATTACH PARTITION

https://github.com/ClickHouse/ClickHouse/issues/14296

но в случае DETACH PARTITION & ATTACH PARTITION

Нужно выбрать реплику с полным набором партов и выполнять ATTACH только на одной реплике

А такой вопрос. Кх может на одной реплике удалить данные про парт (физически удалить директорию в результате мержа e.g.) , а на второй через какое-то время? Или Layout всех партов гарантированно синхронизирован с помощью ЗК вплоть до файловой структуры? (При нормальной работе кластера) Или такое только в результате сбоя/рассинхрона и тд происходит?