Size: a a a

ClickHouse не тормозит

2020 August 13

DC

Denny Crane (I don't... in ClickHouse не тормозит
vitakor
как-то каряво... должно ж быть коробочное решение... ситуация же вполне стандартная
Нет решардинга из коробки.
источник

v

vitakor in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
Нет решардинга из коробки.
нужен... думаю, поднял бы порог вхождения новых юзеров, хотя может оно и не надо
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Vasiliy Panshin
дело вот в чём. мне нужен запрос вида:
select toStartOfHour(param_date)                                               as hour,
      any((JSONExtractKeysAndValues(param, 'a_zone_temperature', 'Float32'))) as a_zone_temperature
from telemetry_common
where param_date > today()
 and src_id = 125
group by hour
order by hour desc;


но any заменить на avg

вот пример того, что возвращает запрос выше:
2020-08-13 14:00:00,"[('3',100),('4',103),('100',102),('0',98),('1',81),('2',95)]"
2020-08-13 13:00:00,"[('3',102),('4',80),('100',86),('0',109),('1',99),('2',101)]"
2020-08-13 12:00:00,"[('3',91),('4',83),('100',80),('0',101),('1',86),('2',83)]"
2020-08-13 11:00:00,"[('3',110),('4',98),('100',101),('0',110),('1',96),('2',84)]"
2020-08-13 10:00:00,"[('3',96),('4',80),('100',100),('0',110),('1',87),('2',107)]"
2020-08-13 09:00:00,"[('3',92),('4',105),('100',96),('0',83),('1',108),('2',93)]"
2020-08-13 08:00:00,"[('3',108),('4',95),('100',98),('0',93),('1',87),('2',82)]"


как для каждого тупла посчитать среднее?
внутри каждой строки? arrayReduce('avg'
или для всех строк?
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
vitakor
нужен... думаю, поднял бы порог вхождения новых юзеров, хотя может оно и не надо
спасибо кеп
источник

S

Slach in ClickHouse не тормозит
Vasiliy Panshin
дело вот в чём. мне нужен запрос вида:
select toStartOfHour(param_date)                                               as hour,
      any((JSONExtractKeysAndValues(param, 'a_zone_temperature', 'Float32'))) as a_zone_temperature
from telemetry_common
where param_date > today()
 and src_id = 125
group by hour
order by hour desc;


но any заменить на avg

вот пример того, что возвращает запрос выше:
2020-08-13 14:00:00,"[('3',100),('4',103),('100',102),('0',98),('1',81),('2',95)]"
2020-08-13 13:00:00,"[('3',102),('4',80),('100',86),('0',109),('1',99),('2',101)]"
2020-08-13 12:00:00,"[('3',91),('4',83),('100',80),('0',101),('1',86),('2',83)]"
2020-08-13 11:00:00,"[('3',110),('4',98),('100',101),('0',110),('1',96),('2',84)]"
2020-08-13 10:00:00,"[('3',96),('4',80),('100',100),('0',110),('1',87),('2',107)]"
2020-08-13 09:00:00,"[('3',92),('4',105),('100',96),('0',83),('1',108),('2',93)]"
2020-08-13 08:00:00,"[('3',108),('4',95),('100',98),('0',93),('1',87),('2',82)]"


как для каждого тупла посчитать среднее?
SELECT 
 hour,
 a_zone_temperature.1 AS category,
 avg(a_zone_temperature.2) AS avg_temp
FROM (

 select toStartOfHour(param_date)                                               as hour,
      any((JSONExtractKeysAndValues(param, 'a_zone_temperature', 'Float32'))) as a_zone_temperature
 from telemetry_common
 where param_date > today()
   and src_id = 125
 group by hour
 order by hour desc
)
GROUP BY hour, category;
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Alex
Добрый день, подскажите пожалуйста, как откорректировать синтаксис запроса

select * FROM table1
any left join table2 using (column1)
any left join table3 using (column2)

чтобы он не приводил к ошибке DB::Exception: Multiple CROSS/COMMA JOIN do not support USING (version 20.3.10.75)?
с самими таблицами все ок, по одной джойнятся без проблем (((
any left join схлапывает левую и правую таблицы, вам правда нужен any? В 20х версиях кх его переделали и теперь надо писать semi чтобы получился результат как в 19м
источник

VP

Vasiliy Panshin in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
внутри каждой строки? arrayReduce('avg'
или для всех строк?
в строках массив туплов:
[[('3',100),('4',103),('100',102),('0',98),('1',81),('2',95)],[('3',83),('4',94),('100',107),('0',96),('1',91),('2',83)],[('3',85),('4',97),('100',81),('0',88),('1',108),('2',103)],[('3',83),('4',82),('100',102),('0',96),('1',90),('2',105)],[('3',104),('4',89),('100',106),('0',102),('1',109),('2',93)],[('3',105),('4',101),('100',102),('0',101),('1',104),('2',94)],[('3',106),('4',95),('100',95),('0',84),('1',93),('2',109)],[('3',80),('4',88),('100',105),('0',104),('1',87),('2',95)],[('3',95),('4',95),('100',100),('0',107),('1',106),('2',80)],[('3',83),('4',80),('100',107),('0',109),('1',84),('2',110)],[('3',84),('4',97),('100',109),('0',108),('1',108),('2',99)],[('3',108),('4',99),('100',102),('0',101),('1',104),('2',109)],[('3',103),('4',96),('100',102),('0',109),('1',106),('2',101)],[('3',90),('4',109),('100',89),('0',93),('1',109),('2',102)],[('3',82),('4',105),('100',92),('0',84),('1',97),('2',96)],[('3',82),('4',105),('100',90),('0',97),('1',93),('2',87)],[('3',102),('4',90),('100',95),('0',105),('1',86),('2',83)],[('3',88),('4',92),('100',92),('0',110),('1',83),('2',80)],[('3',93),('4',91),('100',90),('0',106),('1',104),('2',107)],[('3',97),('4',80),('100',95),('0',98),('1',100),('2',108)],[('3',91),('4',82),('100',105),('0',84),('1',99),('2',96)],[('3',92),('4',81),('100',106),('0',110),('1',100),('2',96)],[('3',107),('4',100),('100',82),('0',110),('1',102),('2',92)],[('3',105),('4',108),('100',98),('0',103),('1',108),('2',108)],[('3',101),('4',84),('100',93),('0',107),('1',88),('2',84)],[('3',103),('4',83),('100',98),('0',102),('1',98),('2',89)],[('3',83),('4',103),('100',96),('0',108),('1',95),('2',95)],[('3',94),('4',103),('100',93),('0',89),('1',104),('2',94)],[('3',93),('4',91),('100',95),('0',101),('1',95),('2',109)],[('3',101),('4',109),('100',84),('0',105),('1',102),('2',109)]]


arrayReduce('avg', a_zone_temperature) не может примениться к туплам...
источник

VP

Vasiliy Panshin in ClickHouse не тормозит
select toStartOfHour(param_date)                                               as hour,
      groupArray((JSONExtractKeysAndValues(param, 'a_zone_temperature', 'Float32'))) as a_zone_temperature,
      arrayReduce('avg', a_zone_temperature)
from telemetry_common
where param_date > today()
 and src_id = 125
group by hour
order by hour desc;
источник

OM

Oleg Majboroda in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
А вам надо бидлить самому? Кх ci собирает бинарники под arm
Спасибо, а где их найти можно?
источник

A

Alex in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
any left join схлапывает левую и правую таблицы, вам правда нужен any? В 20х версиях кх его переделали и теперь надо писать semi чтобы получился результат как в 19м
мне в "наследство" достались готовые таблицы с ENGINE = Join(ANY, LEFT, field), которые вязались к основной посредством joinGet несколько десятков раз, изза чего, как я предполагаю, запрос падал по нехватке оперативки. Пытаюсь заменить много joinGet на несколько Join... как понимаю, мне нужен классический LEFT JOIN, но без any оно дает ошибку Table has incompatible type of JOIN...
источник

A

Alex in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
any left join схлапывает левую и правую таблицы, вам правда нужен any? В 20х версиях кх его переделали и теперь надо писать semi чтобы получился результат как в 19м
перепрочел документацию, вроде бы все правильно, any выберет первую попавшуюся (в моем случае - единственную) запись из второстепенной таблицы...  осталось только понять ответ на изначальный вопрос - как сделать в одном селекте несколько any left join (((
источник

D

Dmitry Koreckiy in ClickHouse не тормозит
и сюда политика добралась..
источник

II

Ilya I. in ClickHouse не тормозит
Dmitry Koreckiy
и сюда политика добралась..
При всём уважении, происходящее в Беларуси нельзя назвать нормой в принципе.
И это не политота, хотя согласен, в этом чате она смотрится как минимум странно.
источник

D

Dmitry Koreckiy in ClickHouse не тормозит
Ilya I.
При всём уважении, происходящее в Беларуси нельзя назвать нормой в принципе.
И это не политота, хотя согласен, в этом чате она смотрится как минимум странно.
Чисто для справки, я сейчас в Минске
источник

II

Ilya I. in ClickHouse не тормозит
Dmitry Koreckiy
Чисто для справки, я сейчас в Минске
Аналогично, да. Ремоут, все дела.
Простите, больная тема.
источник

D

Dj in ClickHouse не тормозит
добрый день, не было магической функции для вытаскивания всех distinct значений из LowCardinality колонки? (т.е. контент словаря)
источник

A

Aleks in ClickHouse не тормозит
Добрый день подскажите как можно посчитать сумму столбца?
источник

КТ

Константин Трофимов... in ClickHouse не тормозит
select sum(column) from table where something?
источник

КТ

Константин Трофимов... in ClickHouse не тормозит
источник

A

Aleks in ClickHouse не тормозит
понял свою ошибку извиняюсь 🙂
источник