Size: a a a

ClickHouse не тормозит

2020 July 07

DC

Denny Crane (I don't... in ClickHouse не тормозит
Ilya Reshetnikov
Можете предложить другой HA вариант?
если серверов 3, то лучше взять 2 и сделать 1 шард, 2 реплики
источник

IR

Ilya Reshetnikov in ClickHouse не тормозит
попробую, спасибо за помощь
источник

AI

Artsiom Ivanov in ClickHouse не тормозит
Привет, подскажите, плз, как лучше сделать агрегации по разным срезам (например "groupArrayMovingSum" для цен товара "a", "b"), например пробую так:

SELECT groupArray((price, name)) as data,
      arrayFilter(x -> x.2 = 'a', data) as data_a,
      arrayMap(x -> groupArrayMovingSum(30)(x.1), data_a) as res
   --                ^^^ Unknown identifier: x
FROM (SELECT arrayJoin([(3, 'a'), (5, 'a'), (3, 'b'), (3, 'b')]) as col, col.1 as price, col.2 as name)

внутри лямбды arrayMap не может быть groupArrayMovingSum?
источник

VB

Vladimir Bunchuk in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
включить debug на kafka , скорее всего не может распарсить сообщение
Спасибо! Помогло
была ошибка в типах данных в таблице с движком Kafka и в месседже из кафки
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Artsiom Ivanov
Привет, подскажите, плз, как лучше сделать агрегации по разным срезам (например "groupArrayMovingSum" для цен товара "a", "b"), например пробую так:

SELECT groupArray((price, name)) as data,
      arrayFilter(x -> x.2 = 'a', data) as data_a,
      arrayMap(x -> groupArrayMovingSum(30)(x.1), data_a) as res
   --                ^^^ Unknown identifier: x
FROM (SELECT arrayJoin([(3, 'a'), (5, 'a'), (3, 'b'), (3, 'b')]) as col, col.1 as price, col.2 as name)

внутри лямбды arrayMap не может быть groupArrayMovingSum?
groupArrayMovingSum применяется к колонке, она сама делает groupArray
источник

AI

Artsiom Ivanov in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
groupArrayMovingSum применяется к колонке, она сама делает groupArray
можно ли как-то сделать несколько groupArrayMovingSum с разными условиями (для товара "a", "b")? Выше пробовал это решить через промежуточный arrayFilter
источник

DT

Dmitry Titov in ClickHouse не тормозит
groupArrayMovingSumIf?
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Artsiom Ivanov
можно ли как-то сделать несколько groupArrayMovingSum с разными условиями (для товара "a", "b")? Выше пробовал это решить через промежуточный arrayFilter
сразу скажу я не читал буквы
SELECT
   name,
   groupArrayMovingSum(30)(price)
FROM
(
   SELECT
       arrayJoin([(3, 'a'), (5, 'a'), (3, 'b'), (3, 'b')]) AS col,
       col.1 AS price,
       col.2 AS name
)
GROUP BY name

┌─name─┬─groupArrayMovingSum(30)(price)─┐
│ b    │ [3,6]                          │
│ a    │ [3,8]                          │
└──────┴────────────────────────────────┘
источник

D

Dj in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
мутация будет ждать куска из мержа
мерж будет ждать кусок из мутации
спасибо, говоря по простому. порядок мерджей строго определен, и мерджи после мутации на тубимутейтед партах никогда не заскеджулятся. правильно?
источник

AI

Artsiom Ivanov in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
сразу скажу я не читал буквы
SELECT
   name,
   groupArrayMovingSum(30)(price)
FROM
(
   SELECT
       arrayJoin([(3, 'a'), (5, 'a'), (3, 'b'), (3, 'b')]) AS col,
       col.1 AS price,
       col.2 AS name
)
GROUP BY name

┌─name─┬─groupArrayMovingSum(30)(price)─┐
│ b    │ [3,6]                          │
│ a    │ [3,8]                          │
└──────┴────────────────────────────────┘
что-то я пример подобрал плохо, но все равно спасибо )
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Artsiom Ivanov
что-то я пример подобрал плохо, но все равно спасибо )
groupArrayMovingSum делает groupArray а потом сразу считает MovingSum , почему не работает с массивом? - так автор захотел, он так видит
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Armen Babajanyan
в итоге ожидаю такую картину)
select empid, deptid, salary, salaries[1] salary_max_over_dep,  rank
from (
  SELECT deptid, groupArray(empid) AS empids, groupArray(salary) AS salaries
  FROM (SELECT * FROM employee ORDER BY deptid ASC, salary DESC)
  group by deptid )
array Join empids as empid, salaries as salary, arrayEnumerateDense(salaries) as rank
order by deptid, rank


┌─empid─┬─deptid─┬───salary─┬─salary_max_over_dep─┬─rank─┐
│     1 │     10 │  5500000 │             5500000 │    1 │
│     2 │     10 │  4500000 │             5500000 │    2 │
│     4 │     20 │  4800000 │             4800000 │    1 │
│     3 │     20 │  1900000 │             4800000 │    2 │
│     7 │     40 │ 44500000 │            44500000 │    1 │
│     6 │     40 │ 14500000 │            44500000 │    2 │
│     5 │     40 │  6500000 │            44500000 │    3 │
│     9 │     50 │  7500000 │             7500000 │    1 │
│     8 │     50 │  6500000 │             7500000 │    2 │
└───────┴────────┴──────────┴─────────────────────┴──────┘

скорее всего ранк считает неправильно, но в гисте тоже так
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
забыл я что есть arrayEnumerateDense, исправил
источник

D

Dmutruu in ClickHouse не тормозит
Добрый день значения находятся в таких скобках(массив), как получить к ним доступ
источник

DT

Dmitry Titov in ClickHouse не тормозит
options[1]
источник

D

Dmutruu in ClickHouse не тормозит
там миллионы таких значений, тут нужна фукнция arrayelement  или что-то подобное, но не знаю что именно
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Dmutruu
там миллионы таких значений, тут нужна фукнция arrayelement  или что-то подобное, но не знаю что именно
options[1] это и есть arrayelement
источник

D

Dmutruu in ClickHouse не тормозит
а как правильно написать чтобы получить доступ ко всему массиву
источник

DT

Dmitry Titov in ClickHouse не тормозит
А в каком виде должен быть результат то?
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
array join чтобы развернуть на 90, строки в столбцы
источник