Size: a a a

ClickHouse не тормозит

2020 August 03

DT

Dmitry Titov in ClickHouse не тормозит
Aleksandr Evsigneev
Подскажите плиз, в чём может быть проблема?
Есть 2 таблицы, между ними связь по id

Вторая таблица распартиционированна по этому id, пк - id. Данных в ней 700кк+. Селекты c where id in/= по этой таблице работают быстро.

Но когда делаю джойн на вторую таблицу, то такое чувство, что кх пытается её полностью сначала в память засунуть.

Запрос вида
select id, name from table_one any left join table_two on table_one.id = table_two.id;

Кх что ли на такой запрос не вешает никаких констрейнтов на правую таблицу для выборки данных для джойна?
Клик поднимает правую таблицу в память, и да там оптимизаций на джойны почти нет
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Aleksandr Evsigneev
Подскажите плиз, в чём может быть проблема?
Есть 2 таблицы, между ними связь по id

Вторая таблица распартиционированна по этому id, пк - id. Данных в ней 700кк+. Селекты c where id in/= по этой таблице работают быстро.

Но когда делаю джойн на вторую таблицу, то такое чувство, что кх пытается её полностью сначала в память засунуть.

Запрос вида
select id, name from table_one any left join table_two on table_one.id = table_two.id;

Кх что ли на такой запрос не вешает никаких констрейнтов на правую таблицу для выборки данных для джойна?
Не используются индексы для джойнов. Специально. Потому что это olap. И да запихивает в память правую таблицу.
источник

AE

Aleksandr Evsigneev in ClickHouse не тормозит
всё-таки не фильтрует значит сначала правую таблицу( Спасибо.
источник

DT

Dmitry Titov in ClickHouse не тормозит
Aleksandr Evsigneev
всё-таки не фильтрует значит сначала правую таблицу( Спасибо.
Но никто не мешает тебе вместо правой таблицы сделать подзапрос из правой с нужными фильтрами
источник

D

Dj in ClickHouse не тормозит
Aleksandr Evsigneev
всё-таки не фильтрует значит сначала правую таблицу( Спасибо.
можете сделать select from righttable where (id,id2) in (select id, id2 from lefttable)
обычно помогает, сначала выполнится подзапрос, отфильтрует правую, загонит в память, потом приджойнит
источник

AE

Aleksandr Evsigneev in ClickHouse не тормозит
Ну в моём кейсе легче уже будет 2 запроса сделать. А то там получается, что просто абсолютно одинаковый запрос придётся в where , в подзапросе джойна пихать, что бы идшки в where засунуть
источник

SP

Sergey Platonov in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
ну видимо вы что-то сделали с путем к стораджу юзеров в config.xml
пересоздал конфиг с нуля, заработало, на досуге найду где внутри рука дрогнула
источник

SO

Sergo Ostro in ClickHouse не тормозит
Добрейшего времени суток всем
сталкнулся со следующей проблемой
кх дефолтно запустил в docker
и возникла проблема max_partitions_per_insert_block.
config.xml не могу найти подскажите где он может находиться или как его сгенерировать?
источник

AK

Alexander Kapustin in ClickHouse не тормозит
/etc/clickhouse-server/config.xml
источник

IP

Ivan Panteleev in ClickHouse не тормозит
Всем привет, никогда не сталкивались с такой ошибкой при селекте в odbc сорс?
ODBCHandler: Poco::Exception. Code: 1000, e.code() = 0, e.displayText() = Not found: ODBC (version 19.17.6.36
источник

IP

Ivan Panteleev in ClickHouse не тормозит
Ivan Panteleev
Всем привет, никогда не сталкивались с такой ошибкой при селекте в odbc сорс?
ODBCHandler: Poco::Exception. Code: 1000, e.code() = 0, e.displayText() = Not found: ODBC (version 19.17.6.36
трейс вызова с clickhouse-odbc-bridge
источник

SO

Sergo Ostro in ClickHouse не тормозит
Alexander Kapustin
/etc/clickhouse-server/config.xml
К сожалению нет ни файла ни дириктории
источник

НМ

Никита Макушников... in ClickHouse не тормозит
Алексей Артамонов
пробовал и с одним, ошибка аналагична , заметил что для докера есть файл docker_related_config.xml
Оставь эти настройки только в файле для докера docker_related_config.xml и убери их из config.xml. Оставь только ipv4
источник

АА

Алексей Артамонов... in ClickHouse не тормозит
Никита Макушников
Оставь эти настройки только в файле для докера docker_related_config.xml и убери их из config.xml. Оставь только ipv4
вроде сделал, сейчас нет ошибок
источник

НМ

Никита Макушников... in ClickHouse не тормозит
Алексей Артамонов
вроде сделал, сейчас нет ошибок
Ок 👌
источник

АА

Алексей Артамонов... in ClickHouse не тормозит
но вставил данные в одну табличку, а на другой шарде не появились
источник

AK

Alexander Kapustin in ClickHouse не тормозит
Sergo Ostro
К сожалению нет ни файла ни дириктории
а как проверяли?
docker run --rm -it yandex/clickhouse-server:20.5 sh -c "ls -la /etc/clickhouse-server"
источник

SO

Sergo Ostro in ClickHouse не тормозит
Alexander Kapustin
а как проверяли?
docker run --rm -it yandex/clickhouse-server:20.5 sh -c "ls -la /etc/clickhouse-server"
руками)
спасибо команда помогла))
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Sergo Ostro
Добрейшего времени суток всем
сталкнулся со следующей проблемой
кх дефолтно запустил в docker
и возникла проблема max_partitions_per_insert_block.
config.xml не могу найти подскажите где он может находиться или как его сгенерировать?
вы таблицу как создали? покажите
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Sergo Ostro
К сожалению нет ни файла ни дириктории
эта настрока в users.xml должна быть, в профиле пользователя, но скорее всего вам она не нужна
источник