Size: a a a

ClickHouse не тормозит

2020 June 15

DT

Dmitry Titov in ClickHouse не тормозит
и для max и argMax есть simpleAggregateFunction
источник

DT

Dmitry Titov in ClickHouse не тормозит
Дмитрий
всем доброго времени суток. Подскажите, пожалуйста, какой аналог функции row_number() есть в Clickhouse?
источник

Д

Дмитрий in ClickHouse не тормозит
спасибо
источник

ДГ

Дима Гуманов... in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
вам надо в config.xml задать max_server_memory_usage не 0.9, а например 2
Понял спасибо. А какой примерно нужен диапазон оперативы для 1000 rps? Получается 100+?
источник

A

Alexey in ClickHouse не тормозит
Dmitry Titov
а как выглядят запросы к вьюхи?
SELECT id1, id2,
     argMaxMerge(last_value),
     maxMerge(last_date),
     maxMerge(last_datetime)
FROM tmp.last_value_mv
where id1 = 100 and id2 = 200
GROUP BY id1, id2
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Дима Гуманов
Понял спасибо. А какой примерно нужен диапазон оперативы для 1000 rps? Получается 100+?
я не знаю, у меня 1 запрос до 200ГБ занимает, я с трудом представляю что такое 500 rps. 500 запросов у меня в час может
источник

DT

Dmitry Titov in ClickHouse не тормозит
Alexey
SELECT id1, id2,
     argMaxMerge(last_value),
     maxMerge(last_date),
     maxMerge(last_datetime)
FROM tmp.last_value_mv
where id1 = 100 and id2 = 200
GROUP BY id1, id2
вам нужна просто последняя строка грубо говоря? для заданных id?
источник

A

Alexey in ClickHouse не тормозит
Dmitry Titov
вам нужна просто последняя строка грубо говоря? для заданных id?
Да, по заданным id необходимо знать последнее значение и дату
источник

DT

Dmitry Titov in ClickHouse не тормозит
вообще, выглядит как задача для replacingMergeTree с ver и ненужно мучаться со state
источник

A

Alexey in ClickHouse не тормозит
Dmitry Titov
вообще, выглядит как задача для replacingMergeTree с ver и ненужно мучаться со state
это да, но хотелось бы понять почему так вышло с датами 🙂
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Alexey
это да, но хотелось бы понять почему так вышло с датами 🙂
ну у вас last_date не вычисляется, потому что он в order by , Dmitry прав
источник

DT

Dmitry Titov in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
ну у вас last_date не вычисляется, потому что он в order by , Dmitry прав
Ну в моем понимании, это окей, у нас не мержатся строки при мерже партов, но ведь несмотря на это maxMerge должен правильно все строки сам смержить?
источник

DT

Dmitry Titov in ClickHouse не тормозит
Те неприятно, но не должно же ломать ничего
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
возможно при мерже PK сравнивается неправильно за-за того что там AggregateFunction
источник

DT

Dmitry Titov in ClickHouse не тормозит
Понятно, выглядит логично тогда, почему все исправляется если сделать новую вставку или перелить заново.
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
и я сомневаюсь что это работает
last_value AggregateFunction(argMax, Float32, Tuple(DateTime, DateTime)),
argMaxState(value, (last_datetime, created)) AS last_value,
источник

A

Alexey in ClickHouse не тормозит
Denny Crane (I don't work at Yandex (never did))
и я сомневаюсь что это работает
last_value AggregateFunction(argMax, Float32, Tuple(DateTime, DateTime)),
argMaxState(value, (last_datetime, created)) AS last_value,
вообще Tuple в argMax или в агрегатной функции?
источник

A

Alexey in ClickHouse не тормозит
спасибо за ответы! стало понятнее 🙂
источник

DC

Denny Crane (I don't... in ClickHouse не тормозит
Alexey
вообще Tuple в argMax или в агрегатной функции?
в AggregateFunction, я знаю точно что не работает для value, я не помню про state

AggregateFunction -- это две части
если написать AggregateFunction(argMax, Tuple(Float32,Float32), ....)
то точно неправильно будет
источник
2020 June 16

S

Slvr in ClickHouse не тормозит
Есть ли в природе приличный viewer логов для clickhouse db? Что-то вроде loghouse но не привязанное к куберу?
источник