Да, я читал уже. Но там доказано, что он on demand и не надо его трогать.

А среди 20.Х версий есть стабильные?

что значит on demand, не надо трогать если у вас памяти 16+
зуб даю через месяц таблицы дорастут до какой-то величины и у вас будут OOM прям на первом же запросе из-за mark_cache

внешние словари пробовал, не хочется mysql сильно напрягать и скорее может не вытянуть потом : на 1к в MergeThree +-50 записей получается где-то измененных, все таки думаете лучше MySQL выбрать?

зачем вам вообще КХ ? если у вас 1к

Скорее всего я не до конца знал как оно работало. Внутренний запрос раньше выполнялся на инициаторе, а сейчас может быть отправлен на любую реплику, почему в таком случае prefer_localhost_replica=1 не помогает?

Это все нужно для того, чтобы запустить ежедневную агрегацию данных на шардах и превратить статистику из сырой в дедуплицированные агрегаты по часам.

А фильтрация по конкретному хосту/шарду нужна чтобы равномерно писать эти агрегаты на имеющиеся шарды (получается одинаковые части сырых данных лежат там же где и те же самые части сагрегированных)

Зачем так сделано я точно сказать не могу.

Основной мой вопрос - как сделать так, чтобы подзапрос к ditributed таблице в итоге передавался на ту же реплику, что и инициатор?

на 1к - 50 изменений, т.е. вставок, а данных гораздо больше

ну ок, а дубликаты они сильно мешают? Может иногда (раз в неделю) делать optmize final ?

Да

Сходу не получилось. Какие-то крякозябры выдаёт, как будто без декомпрессии читает. А какой формат нужно указывать?

select * from s3('http://../file.csv.gz', 'key', 'secret', 'TSV', 'col1 String, col2 String') limit 5

попробуй в конец дописать ,'gzip'

Последним аргументом?

Добрый вечер
Я правильно понимаю, что если создать таблицу c engine ReplacingMergeTree, и поверх нее аггрегирующий materialized view, то при вставке строки с уже имеющимся ключом, старая строка удалится когда-то, но materialized view станет давать новые корректные аггрегаты с учётом новой строки мгновенно?

Добрый вечер
Я правильно понимаю, что если создать таблицу c engine ReplacingMergeTree, и поверх нее аггрегирующий materialized view, то при вставке строки с уже имеющимся ключом, старая строка удалится когда-то, но materialized view станет давать новые корректные аггрегаты с учётом новой строки мгновенно?