AS
Первому шарду не помогали рестарты, но помог апгрейд c 20.6.6 до 20.6.7. Пробую мучать второй шард
Да это просто какая-нибудь мутация добежала или очередь тормозила и наконец обработалась.
Size: a a a
2020 September 30
AB
Да это просто какая-нибудь мутация добежала или очередь тормозила и наконец обработалась.
Прошли сутки с начала проблемы, делал миниум два рестарта обоих реплик шарда
AS
🙂 запутываешь
1 >От версии этой ноды на реплике ничего не зависит, она не проверяется.
2 >, что то что записано в
1 это было про диск/файл что-ли ?
1 >От версии этой ноды на реплике ничего не зависит, она не проверяется.
2 >, что то что записано в
replica/metadata_version != version у ноды /metadata (глобальной для всех реплик)1 это было про диск/файл что-ли ?
Есть нода /metadata -- на всю таблицу. Её версия нам важна, её мы сверим с /replica/metadata_version (это прям нода такая) при очередном альтере. Есть нода /replica/metadata на реплику. Её версия нам не важна (проверяется её содержимое на старте сервера).
AS
Первому шарду не помогали рестарты, но помог апгрейд c 20.6.6 до 20.6.7. Пробую мучать второй шард
Я надеюсь вы делаете
SYSTEM RESTART REPLICA db.table, а не рестарт всего сервера?AB
Я надеюсь вы делаете
SYSTEM RESTART REPLICA db.table, а не рестарт всего сервера?Пробовал и то, и то
AS
Можете показать, что в ноде
replica/metadata_version на проблемной реплике и какая version у ноды /metadata?DC
Конечно, мутаций нет
а вы ответили так потому что вы не используете мутации или потому что проверили select * from system.mutation where not is_done ?
DC
просто alter это тоже мутация теперь
AB
Можете показать, что в ноде
replica/metadata_version на проблемной реплике и какая version у ноды /metadata?/metadata version: 3
replica/metadata_version version: 1
replica/metadata_version version: 1
AB
а вы ответили так потому что вы не используете мутации или потому что проверили select * from system.mutation where not is_done ?
Проверял. Сейчас после рестарта две мутации вернулись.
AS
/metadata version: 3
replica/metadata_version version: 1
replica/metadata_version version: 1
да, реплика действительно не выполнила ещё какие-то альтеры. Посмотрите в
system.replication_queue для этой таблицы. Нет ли там записей с типом ALTER_METADATA и MUTATE_PART?Н
Всем привет, где можно почитать норм гайд по инсёрту pandas df данных в таблицу через python?
AB
да, реплика действительно не выполнила ещё какие-то альтеры. Посмотрите в
system.replication_queue для этой таблицы. Нет ли там записей с типом ALTER_METADATA и MUTATE_PART?Сейчас посмотрю, пока скину это
SELECT
command,
latest_fail_reason
FROM system.mutations
WHERE NOT is_done
Row 1:
──────
command: MODIFY COLUMN `unauth_id` UInt32
latest_fail_reason: Code: 32, e.displayText() = DB::Exception: Attempt to read after eof: Cannot parse UInt32 from String, because value is too short: (while reading from part /var/lib/clickhouse/data/local/user_auth_events_local/202008_87047_87213_16/): While executing MergeTree (version 20.6.7.4 (official build))
Row 2:
──────
command: MODIFY COLUMN `unauth_id` Int64
latest_fail_reason:
AS
Вот оказывается в чём дело!
AS
Вы видимо поальтерили из строки в число, а где-то не вышло распарсить. Вот этот альтер заблокировал все последующие.
DC
Сейчас посмотрю, пока скину это
SELECT
command,
latest_fail_reason
FROM system.mutations
WHERE NOT is_done
Row 1:
──────
command: MODIFY COLUMN `unauth_id` UInt32
latest_fail_reason: Code: 32, e.displayText() = DB::Exception: Attempt to read after eof: Cannot parse UInt32 from String, because value is too short: (while reading from part /var/lib/clickhouse/data/local/user_auth_events_local/202008_87047_87213_16/): While executing MergeTree (version 20.6.7.4 (official build))
Row 2:
──────
command: MODIFY COLUMN `unauth_id` Int64
latest_fail_reason:
в прошлый раз другой страдалец по моим советам чинил такое вот так:
надо найти парты с пустыми строками, отсоединить, проапдетить в другой таблице, проальтерить там и присоединить назад
надо найти парты с пустыми строками, отсоединить, проапдетить в другой таблице, проальтерить там и присоединить назад
AB
Вы видимо поальтерили из строки в число, а где-то не вышло распарсить. Вот этот альтер заблокировал все последующие.
AB
Я бы с удовольствием дропнул колонку, мне эти данные не нужны. Создали колонку с неправильным типом, потом пытались этот тип поменять
AS
вроде бы всё понятно. Можно починить как посоветовал Denny. Можно сделать kill mutation, потом альтер обратно (num -> string), потом update чтобы убрать плохие строки, которые не парсятся в числа и дальше какой нужно альтер (string -> num). Ну или если эта колонка не нужна, то kill mutation, а потом alter drop.
AB
вроде бы всё понятно. Можно починить как посоветовал Denny. Можно сделать kill mutation, потом альтер обратно (num -> string), потом update чтобы убрать плохие строки, которые не парсятся в числа и дальше какой нужно альтер (string -> num). Ну или если эта колонка не нужна, то kill mutation, а потом alter drop.
replication_queue через какое-то время почистится после kill или надо как-то пнуть это дело?