Size: a a a

ClickHouse не тормозит

2020 June 26

DT

Dmitry Titov in ClickHouse не тормозит
Al T
select 'asasa' as requestId, 'dj' as login ? для кеша правда не очень
Лучше такое наверное в WITH вынести
источник

D

Dj in ClickHouse не тормозит
Al T
select 'asasa' as requestId, 'dj' as login ? для кеша правда не очень
да, это обсуждалось в англ чатике, но это радикализм
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Зуфар Самигуллин
Хм, попробую. Надо бы в документацию данный момент вынести)))
да сделайте пожалуйста
источник

D

Dj in ClickHouse не тормозит
Dmitry Titov
Лучше такое наверное в WITH вынести
тоже радикализм, но меньший )
такой КХокей нам не нужен )))
источник

AT

Al T in ClickHouse не тормозит
Dj
да, это обсуждалось в англ чатике, но это радикализм
Зато у меня футболка будет ))
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Егор Андреевич
Доброе утро, подскажите в кликхаусе есть какой-нибудь готовый инструмент для автоматической очистки данных по партициям?
TTL умеет дропать партиции ttl_only_drop_parts=1
источник

ЕА

Егор Андреевич... in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
TTL умеет дропать партиции ttl_only_drop_parts=1
Спасибо, нет проблем его применять к уже существующим таблицам?
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Alexander Ryzhenko
Доброго всем. Я уже задавал этот вопрос пару дней назад, но все же.

Есть таблица
data_lake (
order_id nullable(int32),
order_date nullable(datetime)
order_product_id nullable(int32)
order_product_price nullable(decimal)
)

Есть 2 таблицы с engine kafka (для order и для order_product)
и 2 матвьюхи (консюмеры из кафки в таблицу data_lake). В консюмере я перечисляю только те поля, которые есть в соответствующем кафка топике.

Почему при вычитывании из кафки я получаю ошибки
<Error> void DB::StorageKafka::threadFunc(): Code: 8, e.displayText() = DB::Exception: Cannot find column `order_id` in source stream: while pushing to view streams.order_product_consumer

На тестовом сервер работало нормально. Версия 19.15.3.6
Может есть настройка какая, которая требует строгого перечисления ВСЕХ полей?
зачем вам в кафка engine поле которого нет в месаджах?
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Егор Андреевич
Спасибо, нет проблем его применять к уже существующим таблицам?
нет проблем, там в зависимости от версии КХ придется вручную возможно подергать materialize ttl чтобы к старым партициями применилось
источник

AR

Alexander Ryzhenko in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
зачем вам в кафка engine поле которого нет в месаджах?
У нас 2 kafka таблицы, которые материалками сливаются в одну таблицу. Если данные прилетели с первой кафка талицы, то вторая часть результирующей таблицы забивается null-Ами. Или дефолтными значениями, нам не важно.
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Alexander Ryzhenko
У нас 2 kafka таблицы, которые материалками сливаются в одну таблицу. Если данные прилетели с первой кафка талицы, то вторая часть результирующей таблицы забивается null-Ами. Или дефолтными значениями, нам не важно.
кафка таблицы делайте как мессаджи в топиках, а  в MV перечисляйте поля и заполняйте как надо
источник

AR

Alexander Ryzhenko in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
кафка таблицы делайте как мессаджи в топиках, а  в MV перечисляйте поля и заполняйте как надо
Так и делаем. Но не удобно, что в материалке нужно перечислять все поля со всех кафка таблиц. А не только с той, к которой относится mv
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Alexander Ryzhenko
Так и делаем. Но не удобно, что в материалке нужно перечислять все поля со всех кафка таблиц. А не только с той, к которой относится mv
переходите в кх 20, там не надо
источник

AR

Alexander Ryzhenko in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
переходите в кх 20, там не надо
Вот. В 20.3 лтс не надо. А в 19 надо. Хотел узнать - это особенность версии, или настройками можно задать
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Alexander Ryzhenko
Вот. В 20.3 лтс не надо. А в 19 надо. Хотел узнать - это особенность версии, или настройками можно задать
в 19.16 один китайский программер MV перепилил и стало внезапно не надо, что меня дико бесит, потому что теперь при опечатке в имени поля не будет ошибки, и невозможно понять почему поля пустые
источник

SK

Shmuel K in ClickHouse не тормозит
источник

K

Kid in ClickHouse не тормозит
Добрый вечер. Подскажите как вывести два столбца из разных таблиц рядом?
нужно что-то типа
select id, null from table
union all
select null, id from table2.
Можно ли это как то сделать? И если разное количество строк, то просто заполнить это null
источник

D

Dj in ClickHouse не тормозит
Kid
Добрый вечер. Подскажите как вывести два столбца из разных таблиц рядом?
нужно что-то типа
select id, null from table
union all
select null, id from table2.
Можно ли это как то сделать? И если разное количество строк, то просто заполнить это null
а в чем проблема? выводите, только типы приведите к одинаковым
источник

K

Kid in ClickHouse не тормозит
Dj
а в чем проблема? выводите, только типы приведите к одинаковым
в том что я хочу чтобы они были рядом
типа в первой таблице:
1
2
3
во второй
a
b
хочу результат:
1   a
2  b
3   null
источник

D

Dj in ClickHouse не тормозит
select t1.a as t1_a, t2.a as t2_a from t1 join t2 using (a)
источник