кстати был помню разговор перенести все конфиги в system таблицы, чего-то решили с этим в итоге ?

нет, не помогла, может еще есть варианты?

В профиль прописали? У
юзера точно тот профиль в который прописали?

секунду)

а что написано в select ? Как пачки формируются?

ну а как вы думаете лимит, оффсет работают?  они скроллируют сквозь себя записи, невозможно спустится сразу в 7620000

запоминать макс id (PK), и спользовать его в where ?

решения зависит от того зачем вам это нужно

а зачем? репликация обычно 1,2 сек, т.е. какая разница, из какой реплики выбирать?

например если опустить макрос {shard} в zk path , то таблица будет реплицирована на все ноды (будет один шард), ну и можно задать хоть 100 конфигураций, и наделать 10005000 макросов

У меня несколько этапов расчета. На первом считается куча формул в разных разрезах (разные group by) и результаты вставляются в локальные таблицы. Различные разрезы при этом запускаются на различных репликах.  А потом второй этап расчета - также запускается на всех нодах, но оперируют результатми первого этапа. Иногда не хватает несколько секунд, чтобы результат первого этапа зарепцилировался и тогда во второй этап попадают не все данные. При этом у меня есть возможность немного подождать. В это время гарантировано ничего вставляться нового не будет.

больше года, до этого выдавало DB::Exception: Illegal type Decimal(18, 3) of argument for aggregate function quantile.

select quantile(a) from (select toDecimal128(10,18) a union all select toDecimal128(10,18))
10.000000000000000000

есть кворумный инсерт, там можно ждать что n реплик вставило

спасибо, покопаю

А вообще забавная ситуация. Пытаюсь в цикле вставить одну и ту же пачку несколько раз, размер ее знаю.  Свободной оперативы все меньше и меньше и она в итоге заканчивается. Запрос на вставку вызываю в цикле на питоне - скармливаю его через subprocess   clickhouse-client -mn -q.  Подозреваю, что клик просто не успевает освободить память

CREATE TABLE tmp1 (
  `key` String,
  `val` Int32
) ENGINE = MergeTree()
ORDER BY key

CREATE TABLE tmp2 (
  `key` String,
  `val` Int32
) ENGINE = MergeTree()
ORDER BY key

CREATE MATERIALIZED VIEW mv_tmp1_to_tmp2 TO tmp2 (
  `key` String,
  `val` Int32
) AS
SELECT
    key,
    sum(val) as val
FROM tmp1 where key in (
    SELECT distinct key FROM tmp1
)
group by key

insert into tmp1 values ('1', 1)
insert into tmp1 values ('1', 1)

select * from tmp1

 | key | val |
 | 1 | 1 |
 | 1 | 1 |

select * from tmp2

 | key | val |
 | 1 | 1 |
 | 1 | 1 |

sum(val) as val
FROM tmp1

tmp1 --  это буфер инсерта (а там одна строка) настоящая таблица tmp1 вообще никогда не читается в MV

ничего такого тут нет, например у КХ кеш марков по умолчанию 5ГБ , поэтому надо смотреть что там у вас происходит

мониторить select  * from system.asynchronous_metrics where metric like '%MarkCacheBytes%'
плюс мержи могут начаться и скушать пару гигабайт, и т.д.

рекомендую добавить max_threads=1 для начала

а что написано в select ? Как пачки формируются?

Приветствую! Восстанавливали таблицу после смерти zookeeper'a (переводил в не реплицированную, потом обратно), через неделю clickhouse упал со словами <Error> Application: Caught exception while loading metadata: Code: 49, e.displayText() = DB::Exception: Table contains parts with adaptive and non adaptive marks, but setting enable_mixed_granularity_parts is disabled: Cannot attach table

гранулярность, та же что и была до этого, подскажите, пожалуйста, куда посмотреть?

можно включить в настройках сервера?

уже было несколько таких человек емнип

INSERT INTO table2 (  
     time,
     ...    
   )
   SELECT
     time,
     ...    
   FROM table1
where time=XXX.  Тут я знаю кол-во строк в этой пачке и пробую вставить ее в цикле.