Size: a a a

ClickHouse не тормозит

2021 February 26

AG

Alexei Generalov in ClickHouse не тормозит
Anton Khokhrin
Сумма должна быть 31
да, извините, я минус забыл во второй строке
источник

D

Dj in ClickHouse не тормозит
Alexei Generalov
да, извините, я минус забыл во второй строке
ok, а у вас какой результат?
источник

D

Dj in ClickHouse не тормозит
вы уверены что прям каждая строка совпадает по значению? скорее всего где-то в миллиарде не сошлось
источник

D

Dj in ClickHouse не тормозит
Alexei Generalov
да, извините, я минус забыл во второй строке
проверьте так:
select category, sum(value)
having sum(sign)=0 and sum(value)!=0
group by category
источник

D

Dj in ClickHouse не тормозит
Alexei Generalov
да, извините, я минус забыл во второй строке
найдете кривую категорию и дальше уже в ней смотрите где не туда ушло
источник

AK

Anton Khokhrin in ClickHouse не тормозит
Dj
проверьте так:
select category, sum(value)
having sum(sign)=0 and sum(value)!=0
group by category
group by category

Ещё можно отдельно проверить на sum(sign) not in (0, 1)
источник

AG

Alexei Generalov in ClickHouse не тормозит
вот так выглядят простые данные
источник

AG

Alexei Generalov in ClickHouse не тормозит
а вот так расхождение
источник

AG

Alexei Generalov in ClickHouse не тормозит
Alexei Generalov
вот так выглядят простые данные
минус тут исскуственный, я специально умножаю на -1, чтобы в другом запросе вычислять разницу
источник

AG

Alexei Generalov in ClickHouse не тормозит
проблема только в том, что чем больше данных охватывает запрос ( тут запрос по 1 проблемному юзеру, а их десятки тысяч), тем больше сумма расхождений.

офк, на 400 миллиардов словить расхождение в 13 рублей это смешно, но все таки расходится же
источник

D

Dj in ClickHouse не тормозит
вы сами с собой общаетесь зачем-то, хотя вам кинули два запроса как проверить где у вас проблема...
источник

AK

Anton Khokhrin in ClickHouse не тормозит
Там ещё поле version. Какой движок таблицы?
источник

AG

Alexei Generalov in ClickHouse не тормозит
ReplacingMT
источник

S

Slach in ClickHouse не тормозит
Виктор
Тогда думаю надо копать в сторону настроек сервера. Там есть периодичность вычитывания из кафки и размер блока, при котором происходит вычитывание даже если тайм-аут ещё не пришёл
а точнее можете сказать? честно говоря не понимаю про какие параметры вы говорите
источник

D

Dj in ClickHouse не тормозит
Alexei Generalov
ReplacingMT
ну тогда final делает совсем другое и sign вообще не причем...
источник

В

Виктор in ClickHouse не тормозит
Slach
а точнее можете сказать? честно говоря не понимаю про какие параметры вы говорите
"To improve performance, received messages are grouped into blocks the size of max_insert_block_size. If the block wasn’t formed within stream_flush_interval_ms milliseconds, the data will be flushed to the table regardless of the completeness of the block."
источник

D

Dj in ClickHouse не тормозит
Alexei Generalov
ReplacingMT
можете просто делать запрос так если не хотите копать.
select sum(value) from (select argMax(value, version) as value ...)

если хотите копать отфильтруйте все кроме последней версии и найдите категорию где сумма не ноль
источник

S

Slach in ClickHouse не тормозит
Виктор
Тогда думаю надо копать в сторону настроек сервера. Там есть периодичность вычитывания из кафки и размер блока, при котором происходит вычитывание даже если тайм-аут ещё не пришёл
кстати да
min_insert_block_size
посмотрите
и
stream_flush_interval_ms

SELECT * FROM system.settings WHERE name LIKE '%block_size%' OR name LIKE '%flush%' FORMAT Vertical;
источник

В

Виктор in ClickHouse не тормозит
Slach
кстати да
min_insert_block_size
посмотрите
и
stream_flush_interval_ms

SELECT * FROM system.settings WHERE name LIKE '%block_size%' OR name LIKE '%flush%' FORMAT Vertical;
Там если случайно задрать stream_flush_interval_ms то можно и не дождаться данных, если поток в топик не очень большой
источник

В

Виктор in ClickHouse не тормозит
Pavel Vorontsov
В том то и фишка, что триггер вроде как не срабатывает. Непонятно почему. И сообщений о проблемах никаких
^^^
источник