спасибо понял, а есть приблизительная эвристика, когда он проверяет флаг (например раз в N мин)?

грубо говоря если подвис запрос select * from .., надеятся на то что он дойдет до проверки флага до того как вычитает все данные смысла не имеет?

там проверка между блоками, если 20 минут висит, можно уже не ждать

понял спасибо

у меня правда было что сессия убитая закончилась через 2 дня, но она ждала сеть странно и ничему не мешала

Подскажите пожалуйста.
Если делать insert from select такой insert обладает защитой от повторной вставки? По типу той защиты с retry когда вставляешь "теже самые данные" и CH сам понимает, что это уже было вставлено?  Т.е. если он прервётся по ошибке и попробовать его ещё раз запустить, получаться дубли?

Скорее всего да, если движок таблицы отичается от SummingMergeTree..

Ну в данном случае обычный MergeTree.. Точнее в проде это будет ReplicatedMergeTree

Я насколько понимаю ещё от количества данных может зависеть. CH вроде запоминает последние сколько то, вот только не помню "вставок" или каких-то своих внутренних "блоков". Хотелось понять нужно ли заботиться об этом при переливке большого объёма.

Привет! В проде есть две базы: БД №1 - для таблиц с сырыми данными, а бд №2 для агрегационных. Так как разработчики не могут написать код так, чтобы приложение ходило в две базы одновременно, было решено сделать view в базе №1, чтобы делать запросы над вьюшкой к таблице в базе №2. Вьюшка выглядит что то около:

SELECT все_поля, через_запятую, .... FROM db_№2_aggregates.some_table

. И, оказалось, что если делать какие либо временные, или другие фильтры, то они не работаю, пока не выполнится весь скан, что в целом логично. По крайней мере очень на то похоже. Как выйти из этой ситуации сухим из воды и можно ли каким то образом сделать... аля симлинк чтоли на другую таблицу?

SELECT все_поля, через_запятую, .... FROM db_№2_aggregates.some_table

можно использовать SELECT ... FROM remote('localhost', db_number_one, table)

да, для replicated https://clickhouse.tech/docs/ru/engines/table-engines/mergetree-family/replication/

https://clickhouse.tech/docs/ru/operations/settings/merge-tree-settings/#replicated-deduplication-window

ни причем тут SummingMergeTree вообще

SELECT все_поля, через_запятую, .... FROM db_№2_aggregates.some_table

в версии 20.4 вью умеют фильтры прокидывать
и джоин на подзапрос с условиями никто не запрещал
+ разработчиков над подровнять... или полиси

Ага. Спасибо большое.

SELECT все_поля, через_запятую, .... FROM db_№2_aggregates.some_table

create table as remote(

remote звучит неплохо, возьму на вооружение, спасибо

Надо бы проверить версию кх, спасибо за наводку

А разрабы да, они у нас одарённые ребята

Добрый день. Такой вопрос. У CH, насколько я понял, в логике имеется дедупликация данных. Если это так, то можно ли это как то выключить?