Size: a a a

ClickHouse не тормозит

2021 March 11

M

Mishanya in ClickHouse не тормозит
Amina Gubaidullina
Может какие изменения были в поведении ALL INNER JOIN или JOIN? По changelog не нашла ничего подходящего (может не увидела, извиняюсь).
Подскажите куда с этой проблемой копать?
у вас в отдельности эти запросы как быстро отрабатывают ?
решил недавно похожую проблему
источник

S

Slach in ClickHouse не тормозит
Amina Gubaidullina
Спасибо за ответ!

В продолжение темы, судя по логам получается что  
v21.2.5.5
CreatingSetsTransform: Created Join with 373687112 entries from 478629836 rows in 7633.870237821 sec.

против  вчерашних в версии
v 20.9.2.20
CreatingSetsTransform: Created Join with 373553015 entries from 468733575 rows in 147.141437101 sec.

Запрос вида

INSERT INTO default.users_data 
SELECT *
FROM
(
   SELECT
          categories,
          user_id
   FROM temp.users_data
)
ANY INNER JOIN
(
   SELECT
          user_id,
          custom_user_id
   FROM default.user_mapping
   WHERE map_id = 1
)
USING user_id

Подскажите пожалуйста в чем может быть дело ?
понятия не имею
сравнивайте EXPLAIN PIPELINE SELECT
по версиям...
источник

VP

Vladimir Pereskokov in ClickHouse не тормозит
Добрый день! Все таблицы перешли в readonly с сообщением
(ReplicatedMergeTreeRestartingThread): ZooKeeper session has expired. Switching to a new session
источник

VP

Vladimir Pereskokov in ClickHouse не тормозит
как победить?
источник

S

Slach in ClickHouse не тормозит
Vladimir Pereskokov
Добрый день! Все таблицы перешли в readonly с сообщением
(ReplicatedMergeTreeRestartingThread): ZooKeeper session has expired. Switching to a new session
проверить коннект к zookeeper для начала
SELECT * FROM system.zookeeper WHERE path='/';
источник

AG

Amina Gubaidullina in ClickHouse не тормозит
Mishanya
у вас в отдельности эти запросы как быстро отрабатывают ?
решил недавно похожую проблему
Судя по логам примерно 2 минуты, если запускать ручками то каждая из них  отрабатывает  по минуте
источник

VP

Vladimir Pereskokov in ClickHouse не тормозит
Slach
проверить коннект к zookeeper для начала
SELECT * FROM system.zookeeper WHERE path='/';
запрос висит хотя с КХ сервера echo srvr | nc <zoo> 2181 отвечает
источник

M

Mishanya in ClickHouse не тормозит
Amina Gubaidullina
Судя по логам примерно 2 минуты, если запускать ручками то каждая из них  отрабатывает  по минуте
таблица распределенная ?
источник

AG

Amina Gubaidullina in ClickHouse не тормозит
Mishanya
таблица распределенная ?
temp.users_data не распределенная  MergeTree
default.user_mapping - не распределенная ReplacingMergeTree
источник

PC

Petr Chalkin in ClickHouse не тормозит
добрый день!
Такой вопрос. Я использую CTE
with onlydiscount
as
(бла-бла-бла)
Потом делаю
select 1 from onlydiscount
работает правильно
но если я добавляю
union all и опять обращаюсь к CTE пишет, что таблица onlydiscount не найдена в моей БД, как ему указать, что ту же самую CTE нужно читать?
источник

VP

Vladimir Pereskokov in ClickHouse не тормозит
Vladimir Pereskokov
запрос висит хотя с КХ сервера echo srvr | nc <zoo> 2181 отвечает
Спасибо! перезапустил поочереди зукиперы
источник

S

Slach in ClickHouse не тормозит
Vladimir Pereskokov
запрос висит хотя с КХ сервера echo srvr | nc <zoo> 2181 отвечает
что в логах /var/log/clickhouse-server/
в этот момент?
источник

VP

Vladimir Pereskokov in ClickHouse не тормозит
Slach
что в логах /var/log/clickhouse-server/
в этот момент?
в момент запроса лог КХ не смотрел
но на самом zookeeper Connection request from old client /<ip>:54060; will be dropped if server is in r-o mode
источник

V

Vsevolod in ClickHouse не тормозит
`select a,b from test.table      
WHERE pr_dttm > (select max(pr_dttm) from test.table2)  limit 200`
запрос выполняется адово долго, как будто он каждый раз считает величину из подзапроса, при том что считать ее надо ровно один раз. Раньше считалось быстро - кто-нибудь знает, это лечится какой-то опцией?
источник

S

Slach in ClickHouse не тормозит
ну, надо что-то с ZK делать, там место то есть на ZK сервере?
чего он в RO ушел то?
источник

PL

Paul ❌ Loyd in ClickHouse не тормозит
Кто знает, в каких ещё базах есть индексы аналогичные data skipping indexes?
источник

АБ

Аня Бочарова DevRel ... in ClickHouse не тормозит
Alexey Milovidov
Ура, следующий ClickHouse Meetup уже через неделю!

11 марта в 18:00 приглашаем на весенний ClickHouse Meetup, который пройдёт в онлайн-
формате. Обсудим новые возможности этой колоночной СУБД, способы её эксплуатации в
аналитике и других сферах. В программе: доклады разработчиков ClickHouse и представителей компаний, использующих её в своей работе, а затем — неограниченное количество ответов на ваши вопросы. Если вы интересуетесь ClickHouse и хотите эффективно работать с этой БД, приходите на встречу.

Узнать программу выступлений и зарегистрироваться можно по ссылке: https://events.yandex.ru/events/click-house/11-03-2021?from=tg.
Участие бесплатное.🙂
Уже через 2 часа начнётся митап.

А у нас доклад-сюрприз!
Возможности ClickHouse для интеграции с PostgreSQL - Сумарокова Ксения Яндекс
💛

Кто не зарегистрировался и не попадёт на сегодняшний митап, я не виновата, напоминала)
источник

АБ

Аня Бочарова DevRel ... in ClickHouse не тормозит
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Petr Chalkin
добрый день!
Такой вопрос. Я использую CTE
with onlydiscount
as
(бла-бла-бла)
Потом делаю
select 1 from onlydiscount
работает правильно
но если я добавляю
union all и опять обращаюсь к CTE пишет, что таблица onlydiscount не найдена в моей БД, как ему указать, что ту же самую CTE нужно читать?
Есть параметр global что-то with
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Slach
ну, надо что-то с ZK делать, там место то есть на ZK сервере?
чего он в RO ушел то?
Это нормаьное сообщение. это инфо. Все Зк на всей планете это пишут миллиард раз в день
источник