ну... полгода прошло, наверное повычищали баги?

ну... полгода прошло, наверное повычищали баги?

10 мб дефолтные вполне ок.
Там есть/был баг в том, что неправильно определялся размер аллоцируемой памяти для компактных, что ухудшает производительность с ними. Еще они медленнее в несколько раз емнип.

помогает контролировать когда файлов слишком много в ФС и мерджи не всегда поспевают например

ну во тпо этому я и спрашиваю, у меня слишком много файлов. но с другой стороны, в селектах тоже не хотелось бы терять

ну, собственно тут
120 тыс ваших строк выливаются в гиг

[dwh-ch2.mailru.prod] 2020.07.15 14:27:46.923959 {ab94c45c-b2da-4c00-8b42-1b0444643264} [ 78 ] <Debug> CreatingSetsBlockInputStream: Created. Join with 14523 entries from 119951 rows. In 0.019 sec.
[dwh-ch2.mailru.prod] 2020.07.15 14:27:47.393286 {ab94c45c-b2da-4c00-8b42-1b0444643264} [ 72 ] <Debug> MemoryTracker: Current memory usage: 1.01 GiB.

исходя из первого трейса - там у вас куча целая колонок... ну, в общем тут все плохо... можете так сделать

SELECT rr.* FROM data_vault_raw.evoRuEdsQueue_docs_order_hash rr
where (rr.hashKey) IN 
(
  SELECT r.hashKey
  FROM data_vault_raw.evoRuEdsQueue_docs_order_hash AS l
  RIGHT JOIN
  (
    SELECT hashKey
    FROM temp_tables.ap828_evoRuEdsQueue_docs_order_source_hash
  ) AS r ON l.hashKey = r.hashKey
  WHERE empty(l.hashKey) 
)
Format Null

сколько памяти?

Также, 1 Гб съело

ну вы держите размер таким, что он обязательно померджится дальше... т.е. у вас будут компактом только свежевставленные данные

хм... это идея... надо будет подумать

т.е. вот мы знаем, что у нас парты в одной партиции где то 200-300Г бывают условно. Смело делаем в 1Г - т.е. его не останется по любому, а если останется, то 1Г не сильно перформанс испортит

это тоже полезная информация. Спасибо. А известен тот порог размера парта когда перформанс просядет  серьезно?

Да, 42 гб )))

что, никто не сталкивался? ( получается, как-будто, распределенная таблица, не получая инфу о том, что блок данных успешно передан на узел - пытается отсылать один тот же блок множество раз, тем самым размножая данные, помогите!

distributed теперь уважает load_balancing , видимо новый баг.
Сделайте ишью. Опишите свой энв. Mv у вас на локальную таблицу? Репликация? И т.д.