DC
что в ЗК в metadata и в replica/metadata ? Одинаково все ?
Size: a a a
2020 September 29
AB
что в ЗК в metadata и в replica/metadata ? Одинаково все ?
AB
version разные
DC
я вообще ничего не понял, вы какие пути показыаете? почему их 3 ?
AB
select * from system.zookeeper where path = '/clickhouse/tables/0/local/new_final_user_auth_events_local' and name='metadata' \G
select * from system.zookeeper where path = '/clickhouse/tables/0/local/new_final_user_auth_events_local/replicas/ch506500' and name='metadata'
select * from system.zookeeper where path = '/clickhouse/tables/0/local/new_final_user_auth_events_local/replicas/ch506100' and name='metadata'
select * from system.zookeeper where path = '/clickhouse/tables/0/local/new_final_user_auth_events_local/replicas/ch506500' and name='metadata'
select * from system.zookeeper where path = '/clickhouse/tables/0/local/new_final_user_auth_events_local/replicas/ch506100' and name='metadata'
DC
select * from system.zookeeper where path = '/clickhouse/tables/0/local/new_final_user_auth_events_local' and name='metadata' \G
select * from system.zookeeper where path = '/clickhouse/tables/0/local/new_final_user_auth_events_local/replicas/ch506500' and name='metadata'
select * from system.zookeeper where path = '/clickhouse/tables/0/local/new_final_user_auth_events_local/replicas/ch506100' and name='metadata'
select * from system.zookeeper where path = '/clickhouse/tables/0/local/new_final_user_auth_events_local/replicas/ch506500' and name='metadata'
select * from system.zookeeper where path = '/clickhouse/tables/0/local/new_final_user_auth_events_local/replicas/ch506100' and name='metadata'
еще columns сравните
AB
еще columns сравните
Колонки одинаковые, version отличается на всех 3х
AB
На соседнем шарде в метаданных отличается одна колонка, которую и пытаемся заальтерить.
DC
На соседнем шарде в метаданных отличается одна колонка, которую и пытаемся заальтерить.
не понял, у вам несколько шардов, и в том который вы показываете есть проблема с колонкой, потому что какой-то alter ранее не пролез?
AB
У нас 32 шарда. Альтер не прошел на половине кластера. Я прислал две разные проблемы на двух разных (отдельных) шардах.
2020 September 30
DC
У нас 32 шарда. Альтер не прошел на половине кластера. Я прислал две разные проблемы на двух разных (отдельных) шардах.
a смотрели что на этом шарде в обеих репликах в
select * from system.mutation where not is_done ?
select * from system.mutation where not is_done ?
AB
Конечно, мутаций нет
DC
непонятно почему версии разные
DC
у других шардов тоже разные?
AS
непонятно почему версии разные
От версии этой ноды на реплике ничего не зависит, она не проверяется. Версия лежит в replica/metadata_version.
DC
От версии этой ноды на реплике ничего не зависит, она не проверяется. Версия лежит в replica/metadata_version.
там в /replica отличается
AS
там в /replica отличается
Да, это как раз не страшно и может различаться (эта нода раньше вообще создавалась в какой-то непонятный момент), она используется только при старте сервера как sanity check, что у нас в .sql лежит тоже, что в зукипере для этой реплики. Ошибка
Metadata on replica is not up to date with common metadata in Zookeeper говорит, что то что записано в replica/metadata_version != version у ноды /metadata (глобальной для всех реплик). Это такая защита от очень частых альтеров, потому что в фоне они выполняются последовательно и мы не успеваем их разгребать.AS
Если она ловится, то должны быть какие-то долгие мутации. Если их нет, то наверное нужны логи и issue.
DC
Да, это как раз не страшно и может различаться (эта нода раньше вообще создавалась в какой-то непонятный момент), она используется только при старте сервера как sanity check, что у нас в .sql лежит тоже, что в зукипере для этой реплики. Ошибка
Metadata on replica is not up to date with common metadata in Zookeeper говорит, что то что записано в replica/metadata_version != version у ноды /metadata (глобальной для всех реплик). Это такая защита от очень частых альтеров, потому что в фоне они выполняются последовательно и мы не успеваем их разгребать.🙂 запутываешь
1 >От версии этой ноды на реплике ничего не зависит, она не проверяется.
2 >, что то что записано в
1 это было про диск/файл что-ли ?
1 >От версии этой ноды на реплике ничего не зависит, она не проверяется.
2 >, что то что записано в
replica/metadata_version != version у ноды /metadata (глобальной для всех реплик)1 это было про диск/файл что-ли ?
AB
Первому шарду не помогали рестарты, но помог апгрейд c 20.6.6 до 20.6.7. Пробую мучать второй шард