Size: a a a

ClickHouse не тормозит

2021 March 11

PC

Petr Chalkin in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
Есть параметр global что-то with
что то не вижу такого в документации об with
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Petr Chalkin
что то не вижу такого в документации об with
Select * from system.settings
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Vladimir
Привет! Будет ли работать LowCardinality в массиве? Array(LowCardinality(String))
Будет
источник

V

Vladimir in ClickHouse не тормозит
Спасибо!
источник

V

Vsevolod in ClickHouse не тормозит
Vsevolod
`select a,b from test.table      
WHERE pr_dttm > (select max(pr_dttm) from test.table2)  limit 200`
запрос выполняется адово долго, как будто он каждый раз считает величину из подзапроса, при том что считать ее надо ровно один раз. Раньше считалось быстро - кто-нибудь знает, это лечится какой-то опцией?
То есть подзапрос не кэшируется а должен бы
источник

PC

Petr Chalkin in ClickHouse не тормозит
Vsevolod
То есть подзапрос не кэшируется а должен бы
о, кажется вижу, спасибо
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Amina Gubaidullina
Спасибо за ответ!

В продолжение темы, судя по логам получается что  
v21.2.5.5
CreatingSetsTransform: Created Join with 373687112 entries from 478629836 rows in 7633.870237821 sec.

против  вчерашних в версии
v 20.9.2.20
CreatingSetsTransform: Created Join with 373553015 entries from 468733575 rows in 147.141437101 sec.

Запрос вида

INSERT INTO default.users_data 
SELECT *
FROM
(
   SELECT
          categories,
          user_id
   FROM temp.users_data
)
ANY INNER JOIN
(
   SELECT
          user_id,
          custom_user_id
   FROM default.user_mapping
   WHERE map_id = 1
)
USING user_id

Подскажите пожалуйста в чем может быть дело ?
Вам точно any inner нужен? Вы параметры со старого сервера про any_join_right_only не забыли скопировать? Вам надо перейти с any join на semi join
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Vsevolod
То есть подзапрос не кэшируется а должен бы
Версия кх раньше и версия теперь?
источник

AG

Amina Gubaidullina in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
Вам точно any inner нужен? Вы параметры со старого сервера про any_join_right_only не забыли скопировать? Вам надо перейти с any join на semi join
Возможно забыли. Проверю. Спасибо за ответ!
источник

V

Vsevolod in ClickHouse не тормозит
Denny Crane [not a Yandex bot]
Версия кх раньше и версия теперь?
теперь 21.2.4.6, до этого хз
источник

OV

Olesya Vasina in ClickHouse не тормозит
Всем привет! Я новичок в CH, поэтому прошу строго не судить.
Подскажите пожалуйста, есть ли какие-то оптимизации, махинации, фишечки для решения такой задачи. Хотим строить первые события пользователей, для этого нужно обрабатывать логи за период больше года, это довольно затратно. Может кто-то сталкивался с такой задачей и есть best practices, может view или что-то еще.
Заранее спасибо!
источник

SB

Serge Bash in ClickHouse не тормозит
Serge Bash
У нас из-за этого вставка через дистрибьютет в принципе остановилась, файлы копятся там как раз с момента, когда пошли вставляться кривые даты из будущего. Может просто дропнуть эти файлы?
Если кому интересно: включил трейс, стал смотреть, какие бинари в цикле пытаются загрузиться и фейлятся и стал их выпиливать из папки distributed - пошло рассасывать накопленное и подгружать здоровые файлы
источник

СC

Стас C1rcle in ClickHouse не тормозит
Аня Бочарова DevRel Леруа Мерлен
Уже через 2 часа начнётся митап.

А у нас доклад-сюрприз!
Возможности ClickHouse для интеграции с PostgreSQL - Сумарокова Ксения Яндекс
💛

Кто не зарегистрировался и не попадёт на сегодняшний митап, я не виновата, напоминала)
Ссылка на почту не пришла
источник

АБ

Аня Бочарова DevRel ... in ClickHouse не тормозит
Стас C1rcle
Ссылка на почту не пришла
хм...
может в спаме?
сейчас в личку вышлю!
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Olesya Vasina
Всем привет! Я новичок в CH, поэтому прошу строго не судить.
Подскажите пожалуйста, есть ли какие-то оптимизации, махинации, фишечки для решения такой задачи. Хотим строить первые события пользователей, для этого нужно обрабатывать логи за период больше года, это довольно затратно. Может кто-то сталкивался с такой задачей и есть best practices, может view или что-то еще.
Заранее спасибо!
что такое первые события пользователей? кто такие пользователи ?
источник

D

Dj in ClickHouse не тормозит
Аня Бочарова DevRel Леруа Мерлен
хм...
может в спаме?
сейчас в личку вышлю!
можно мне тоже? спасибо
источник

DC

Denny Crane [not a Y... in ClickHouse не тормозит
Serge Bash
Если кому интересно: включил трейс, стал смотреть, какие бинари в цикле пытаются загрузиться и фейлятся и стал их выпиливать из папки distributed - пошло рассасывать накопленное и подгружать здоровые файлы
вы бы отключили лимит про кол-во партов, на время мейнтанса
источник

VN

Viacheslav Nefedov in ClickHouse не тормозит
Olesya Vasina
Всем привет! Я новичок в CH, поэтому прошу строго не судить.
Подскажите пожалуйста, есть ли какие-то оптимизации, махинации, фишечки для решения такой задачи. Хотим строить первые события пользователей, для этого нужно обрабатывать логи за период больше года, это довольно затратно. Может кто-то сталкивался с такой задачей и есть best practices, может view или что-то еще.
Заранее спасибо!
select событие, пользователь order by дата limit 1 by дата desc
источник

VN

Viacheslav Nefedov in ClickHouse не тормозит
источник

OV

Olesya Vasina in ClickHouse не тормозит
Viacheslav Nefedov
select событие, пользователь order by дата limit 1 by дата desc
ну да но пользователей много и событий много, каждый раз нужно считать с момента возникновения сервиса
источник