Это из-за того что коллега дернул форс-рестор (паника все дела).
Т.е. в данном случае, то, что они все посыпались в ignored - это фича?

2020.07.02 13:59:10.863060 [ 177881 ] {} <Warning> SCHEMA.TABLENAME: Skipping the limits on severity of changes to data parts and columns (flag /clickhouse/tables/01-01/TABLENAME/replicas/host01/flags/force_restore_data).
2020.07.02 13:59:10.863100 [ 177881 ] {} <Debug> SCHEMA.TABLENAME: Loading data parts
2020.07.02 14:33:18.052321 [ 177881 ] {} <Debug> SCHEMA.TABLENAME: Loaded data parts (167598 items)
2020.07.02 14:33:18.796406 [ 177881 ] {} <Warning> SCHEMA.TABLENAME: There are 150324 unexpected parts with 9974677028 rows (21343 of them is not just-written with 9974677028 rows), 1 missing parts (with 1 blocks).
2020.07.02 14:33:18.796502 [ 177881 ] {} <Error> SCHEMA.TABLENAME: Removing locally missing part from ZooKeeper and queueing a fetch: 20200619-13-3_1_1_0
2020.07.02 14:33:18.800677 [ 177881 ] {} <Error> SCHEMA.TABLENAME: Renaming unexpected part 20200624-20-0_0_3518_47 to ignored_20200624-20-0_0_3518_47
2020.07.02 14:33:18.845241 [ 177881 ] {} <Information> SCHEMA.TABLENAME: Renaming 20200624-20-0_0_3518_47 to ignored20200624-20-0_0_3518_47 and forgiving it.

2020.07.02 13:59:10.863060 [ 177881 ] {} <Warning> SCHEMA.TABLENAME: Skipping the limits on severity of changes to data parts and columns (flag /clickhouse/tables/01-01/TABLENAME/replicas/host01/flags/force_restore_data).
2020.07.02 13:59:10.863100 [ 177881 ] {} <Debug> SCHEMA.TABLENAME: Loading data parts
2020.07.02 14:33:18.052321 [ 177881 ] {} <Debug> SCHEMA.TABLENAME: Loaded data parts (167598 items)
2020.07.02 14:33:18.796406 [ 177881 ] {} <Warning> SCHEMA.TABLENAME: There are 150324 unexpected parts with 9974677028 rows (21343 of them is not just-written with 9974677028 rows), 1 missing parts (with 1 blocks).
2020.07.02 14:33:18.796502 [ 177881 ] {} <Error> SCHEMA.TABLENAME: Removing locally missing part from ZooKeeper and queueing a fetch: 20200619-13-3_1_1_0
2020.07.02 14:33:18.800677 [ 177881 ] {} <Error> SCHEMA.TABLENAME: Renaming unexpected part 20200624-20-0_0_3518_47 to ignored_20200624-20-0_0_3518_47
2020.07.02 14:33:18.845241 [ 177881 ] {} <Information> SCHEMA.TABLENAME: Renaming 20200624-20-0_0_3518_47 to ignored20200624-20-0_0_3518_47 and forgiving it.

Да. Это смерженные inactive парты, про которые информация уже удалена из зукипера

ну ок, тогда все хорошо, на остальных хостах там по мелочи 100-150 партов, вроде все ок,  спасибо за подсказку, будем мониторить

Вроде FINAL всегда идёт после названия таблицы (FROM name FINAL)

на самом деле, это конечно плохо, парты плодятся получается. сколько реплик - во столько раз больше партов...
по сути инсерт бьётся, а потом мерджится опять...
т.е. инсерт + репликация выливается в 2 инсерта - 2 репликации - 2 мерджа (если реплики 2)

нене. оно не бьется

insert в дистрибьютид режется по шардам и вставляется в одну из реплик рандомно

а ок, т.е. инсерт остается цельным, тогда все ок, спасибо

грубо говоря - просто один инсерт в одну, другой в другую реплику.

ну я бы хотел чтобы они локально инсертились по дефолту, чтобы меньше по сети гонять

и есть параметр который батчит инсерты

--distributed_directory_monitor_batch_inserts arg                Should StorageDistributed DirectoryMonitors try to batch individual inserts into bigger ones.

а дедупликацию репликейтедМТ оно не портит на повторах?

не документировано, не знаю. Логично предположить что он мог бы запоминать и повторять склеив также (или автоматически склеивать всегда повторяемо)

судя по всему локально складывает.

Эта настройка улучшает производительность кластера за счет более оптимального использования ресурсов сервера-отправителя и сети. Необходимо проверять, что данные отправлены успешно, для этого проверьте список файлов (данных, ожидающих отправки) в каталоге таблицы `/var/lib/clickhouse/data/database/table/`. Количество потоков для выполнения фоновых задач можно задать с помощью настройки 

если честно. так себе велосипед.
а если я первый раз сделал инсерт1+2+3 он завалился батчем...
а потом я сделал инсерт1+2 (без 3)... он должен вечно висеть? или таймер =)

you're always online

that's a question in itself

Добрый вечер!
Подскажите, пожалуйста, почему этот запрос отрабатывает нормально:

select a
from
   (select 1 a, 2 b)
group by if(1, a, b)

а этот нет:

select a
from
   (select 1 a, 2 b)
group by if(isNull(null), a, b)

Ошибка: Column a is not under aggregate function and not in GROUP BY. (version 19.14.11.16 (official build))

т.е. как только константу в if заменяю на функцию, она перестает работать( не сталкивались с таким? спасибо!

кликхаусу непонятно что a является функцией от if(isNull(null), a, b)

а в случае if(1) он сворачивает константы, получает а, и ему ок

Эм, мне тоже непонятно)) то есть я не могу в условных функциях задавать условия? или я не могу условные функции использовать в group by?