Подскажите, пожалуйста, куда копать.
CH версии 19.15.3.6. (16 Гб RAM)
Есть 2 таблицы, движок MergeTree.
В каждой по 150 колонок, в основном String. В левой 5.5 млн записей. В правой 120 000.
Пытаюсь вставить в левую таблицу записи из правой, которых нет в левой таблицы.
Джоин идет по хеш-ключу - тип поля FixedString(20)
При попытке выполнения запроса ClickHouse выедает 9 Гб и запрос падает (стоит ограничение на запрос)
При этом ClickHouse не освобождает память на сервере.
При повторной попытке выполнить запрос он выедает оставшуюся память, сервер падает и перезагружается.
Вот сам селект.
INSERT INTO db1.order_hash
SELECT r.*
FROM db1.order_hash l
RIGHT JOIN
   (SELECT *
   FROM db2.order_source_hash) r
   ON l.hashKey = r.hashKey            
WHERE 1=1
   AND empty(l.hashKey)

Ребят, а как можно ограничить количество потоков на скачивание партов с реплик?

Подскажите, пожалуйста, куда копать.
CH версии 19.15.3.6. (16 Гб RAM)
Есть 2 таблицы, движок MergeTree.
В каждой по 150 колонок, в основном String. В левой 5.5 млн записей. В правой 120 000.
Пытаюсь вставить в левую таблицу записи из правой, которых нет в левой таблицы.
Джоин идет по хеш-ключу - тип поля FixedString(20)
При попытке выполнения запроса ClickHouse выедает 9 Гб и запрос падает (стоит ограничение на запрос)
При этом ClickHouse не освобождает память на сервере.
При повторной попытке выполнить запрос он выедает оставшуюся память, сервер падает и перезагружается.
Вот сам селект.
INSERT INTO db1.order_hash
SELECT r.*
FROM db1.order_hash l
RIGHT JOIN
   (SELECT *
   FROM db2.order_source_hash) r
   ON l.hashKey = r.hashKey            
WHERE 1=1
   AND empty(l.hashKey)

Коллеги, добрый день! Я BI-специалист и мои отвечающие за  DWH коллеги уверяют меня, что в ClickHouse нет настройки последовательного исполнения запросов. Что он может только одновременно, это правда?

А так во всех базах? Раньше работала с Postgre + MySQL - с такой проблемой не сталкивалась

=)) а какая СУБД может "последовательно"?

можете сказать?

с какой проблемой? ;)
MySQL и PostgreSQL тоже выполняют все запросы ПАРАЛЕЛЬНО =)

это размер на диске... попробуйте ваш запрос так - сколько памяти съест?

SELECT r.hashKey
FROM db1.order_hash l
LEFT JOIN 
    (SELECT hashKey
    FROM db2.order_source_hash) r
    ON l.hashKey = r.hashKey            
WHERE 1=1
    AND empty(l.hashKey)

sqlite 😄

Запрос выполняется моментально.

у вас собственно right join, на гигантскую таблицу справа... оно не будет работать

=)) а какая СУБД может "последовательно"?

можете сказать?

у mssql есть query governor

я так думаю БИ надо было последовательно в смысле "хранимки"

я так думаю БИ надо было последовательно в смысле "хранимки"

А так во всех базах? Раньше работала с Postgre + MySQL - с такой проблемой не сталкивалась

и как он ограничивает "параллельное исполнение SQL запросов"?
насколько я понимаю там максимум можно ограничить длительность одного запроса
ну может кол-во коннектов ограничить

в оракл точно есть ограничитель, resource manager...