RO
mv
потом alter table attach part
потом alter table attach part
спасибо
Size: a a a
2020 July 02
DC
Required Optional
спасибо приступаю :) кстати не подскажите как вы анализируете отвалившиеся парты? хотелось понять логику, чтобы самому разобраться, а то в связи с ошибкой файловых дискрипторов их есть немного. Но что с ними делать - не ясно
возможно вот этот баг https://github.com/ClickHouse/ClickHouse/issues/6833
D
ignored можно удалять
Неактивные куски удаляются не сразу, потому что при записи нового куска не вызывается
Неактивные куски удаляются не сразу, потому что при записи нового куска не вызывается
fsync, т.е. некоторое время новый кусок находится только в оперативной памяти сервера (кеше О.С.). Т.о. при спонтанной перезагрузке сервера новый (смерженный) кусок может быть потерян или испорчен. В этом случае ClickHouse в процессе старта при проверке целостности кусков обнаружит проблему, вернет неактивные куски в список активных и позже заново их смержит. Сломанный кусок в этом случае переименовывается (добавляется префикс broken\_) и перемещается в папку detached. Если проверка целостности не обнаруживает проблем в смерженном куске, то исходные неактивные куски переименовываются (добавляется префикс ignored\_) и перемещаются в папку detached.150 тыс - и все игноред. Как оно вообще там в таких объемах оказывается? о_О
DC
150 тыс - и все игноред. Как оно вообще там в таких объемах оказывается? о_О
ну кто знает , может у вас КХ ребутятся
D
нет, не ребутятся ) с момента инсталляции =) по ООМ не отваливались. ЧП было вот несколько раз когда репликация/мерджи вставали...
DC
нет, не ребутятся ) с момента инсталляции =) по ООМ не отваливались. ЧП было вот несколько раз когда репликация/мерджи вставали...
лог читайте, там написано почему в ignored стало
D
лог читайте, там написано почему в ignored стало
2020.07.02 14:33:18.796406 [ 177881 ] {} <Warning> SCHEMA.TABLENAME: There are 150324 unexpected parts with 9974677028 rows (21343 of them is
not just-written with 9974677028 rows), 1 missing parts (with 1 blocks).D
лог читайте, там написано почему в ignored стало
а потом, по кругу:
это явно до рестарта реплик было.
2020.07.02 14:33:20.087781 [ 177881 ] {} <Information> SCHEMA.TABLENAME: Renaming 20200701-16-0_3744_3744_0 to ignored20200701-16-0_3744_3744_0 and forgiving it.
2020.07.02 14:33:20.087958 [ 177881 ] {} <Warning> SCHEMA.TABLENAME: Will not recover parts covered by zero-level part 20200701-16-0_3744_3744_0
2020.07.02 14:33:20.087975 [ 177881 ] {} <Error> SCHEMA.TABLENAME: Renaming unexpected part 20200701-16-0_3744_3749_1 to ignored_20200701-16-0_3744_3749_1это явно до рестарта реплик было.
DC
ну рестарт реплики да, это тоже самое что детач/aтач/рестарт
DC
а потом, по кругу:
это явно до рестарта реплик было.
2020.07.02 14:33:20.087781 [ 177881 ] {} <Information> SCHEMA.TABLENAME: Renaming 20200701-16-0_3744_3744_0 to ignored20200701-16-0_3744_3744_0 and forgiving it.
2020.07.02 14:33:20.087958 [ 177881 ] {} <Warning> SCHEMA.TABLENAME: Will not recover parts covered by zero-level part 20200701-16-0_3744_3744_0
2020.07.02 14:33:20.087975 [ 177881 ] {} <Error> SCHEMA.TABLENAME: Renaming unexpected part 20200701-16-0_3744_3749_1 to ignored_20200701-16-0_3744_3749_1это явно до рестарта реплик было.
а что было с
20200701-16-0_3744_3744_0 до этого?D
а что было с
20200701-16-0_3744_3744_0 до этого?по кругу имел ввиду не для этого парта, а для каждого парта такой же лог, сейчас проверю первое сообщение по этому парту
DC
>
а что было до этого? это результат чего?
SCHEMA.TABLENAME: There are 150324 unexpected parts with 9974677028а что было до этого? это результат чего?
D
а что было с
20200701-16-0_3744_3744_0 до этого?Replica01
Replica02 - ничего
[xxx@host01 clickhousebase]$ zcat var/log/clickhouse-server/clickhouse-server.log.0.gz | grep 20200701-16-0_3744_3744_0
2020.07.02 14:33:19.789593 [ 177881 ] {} <Information> SCHEMA.TABLENAME: Activated part 20200701-16-0_3744_3744_0
2020.07.02 14:33:20.062726 [ 177881 ] {} <Information> SCHEMA.TABLENAME: Activated part 20200701-16-0_3744_3744_0
2020.07.02 14:33:20.087766 [ 177881 ] {} <Error> SCHEMA.TABLENAME: Renaming unexpected part 20200701-16-0_3744_3744_0 to ignored_20200701-16-0_3744_3744_0
2020.07.02 14:33:20.087781 [ 177881 ] {} <Information> SCHEMA.TABLENAME: Renaming 20200701-16-0_3744_3744_0 to ignored20200701-16-0_3744_3744_0 and forgiving it.
2020.07.02 14:33:20.087958 [ 177881 ] {} <Warning> SCHEMA.TABLENAME: Will not recover parts covered by zero-level part 20200701-16-0_3744_3744_0
Replica02 - ничего
RO
возможно вот этот баг https://github.com/ClickHouse/ClickHouse/issues/6833
похоже не этот. Lsof выдал больше 180К только где clickhous упоминается... Но много процессов типа BackgrSch BackgrBo AsyncBlock которые связаны с КХ, но там не упоминается...
A
Возможно кто то подскажет, есть ли простой способ перенести одну таблицу с одного сервера на другой?
D
помница тут был DarkWanderer, автор ClickHouse.Client - кажеца я нашёл баг
RO
Anton
Возможно кто то подскажет, есть ли простой способ перенести одну таблицу с одного сервера на другой?
remote
A
Required Optional
remote
Спасибо
D
ладна, запилил issue на гитхабе
ДГ
Как в запросе в секции с джоином replacingmergeetree правильно поставить модификатор final?