если у вас JOIN между двумя sub-query
то сначала результат sub query в память
потом по нему JOIN

про подзапросы и механику, да, помню. Здесь другое непонятно. WHERE в подзапросах что должно выбирать?

ЧАНК оно должно выбирать, ну по дате там например ограничивать, GROUP BY делать если надо
короче должно делать так чтобы данные для JOIN в память умещались

тут сильно зависит от условий JOIN
получается ли их соблюдать в рамках одного chunk или нет

тогда картина чанк1 из табла1 по дате - там рандомный набор c id1 по id10000 (например) и чанк1 из табла2 по дате и там рандомный набор из id5000 по id15000. Джойном чанки пересеклись в 4321 случае (например), таким образом результирующий чанк оставляет часть данных за бортом?

я же выше писал. просто по ключу id в обоих таблицах

Привет. Не подскажите?
Делаю снапшот ec2 инстанса в aws(EBS Volume snapshot) на котором крутится clickhouse.
Достаточно ли делать только снапшот инстанса. Смогу ли я всегда в случае чего восстановить бд на последний инстанс? или может быть ситуация что не смогу никак восстановить из снапшота(потерять немного данных на момент пока делается снапшот не страшно). Или без бэкапа никак не обойтись? Есть опасность, что бд вообще не поднимется?

можно сделать сначала бекап при помощи alexakulov/clickhouse-backup
он создаст хардлинки на все парты и потом можно будет смело снимать снапшот, тогда точно проблем не будет

Спасибо. Уточняющий вопрос. То есть  если сделаю перед снапшотов clickhouse-backup местно на инстансе не увелится? верно понимаю?

верно

если получится сравнить скорость восстановления EBS Snapshot и clickhouse-backup из S3
было бы хорошо
там кажется это все от типов инстанса должно зависеть

Спасибо большое!

но есть нюансы хардлинков - если их хранить дальше - место они занимают со временем всё больше. тотже транкейт/дроп если сделать для таблицы - место не высвободится тк останется бекап

вот как раз хотелось только snapshot делать из-за некоторых особенностей.

А если так делать: clickhouse-backup; ebs snapshot; delete backup на инстансе. или перед началом следующего бэкапа сначала предыдущий удалить на инстансе. пото все проделать снова. что-то такое

я думаю да, должно работать

на этом же инстансе еще постгря крутится(( но проблем и опасней больше кликхаус вызывает

Спасибо за помощь!

подскажите, есть ли какой-нибудь способ держать колонки в схеме, но данные никуда не записывать? типа ENGINE=Null для отдельных колонок

пока по моему опыту аварийного восстановления после крешей - кликхаус самый живучий.