AP
argMax чтение с диска в один проход, если дубликатов мало %, будет лучше... если подзапрос вычистит большой процент дупликатов - он лучше
Этот коментарий был не про ReplacingMergeTree. Сам юзал вариант с argMax в таких ситуациях.
Size: a a a
2021 January 23
A
не надо все поля в груп... только ключи, а остальные поля как argmax()
используя этот пример - https://clickhouse.tech/docs/ru/sql-reference/statements/select/limit-by/ работает все через SELECT * FROM limit_by ORDER BY id,val DESC LIMIT 1 BY id ... но с argMax не выходит. Можете подсказать запрос, основываясь на этом примере ?
VN
Alexandr
используя этот пример - https://clickhouse.tech/docs/ru/sql-reference/statements/select/limit-by/ работает все через SELECT * FROM limit_by ORDER BY id,val DESC LIMIT 1 BY id ... но с argMax не выходит. Можете подсказать запрос, основываясь на этом примере ?
select grp, number from (
select grp, number
from `system`.numbers
array join ['one', 'two', 'three'] as grp
where number < 1000
)
order by grp, number
limit 2 by grpA
select grp, number from (
select grp, number
from `system`.numbers
array join ['one', 'two', 'three'] as grp
where number < 1000
)
order by grp, number
limit 2 by grpЭто к чему? я вроде написал, что запрос "SELECT * FROM limit_by ORDER BY id,val DESC LIMIT 1 BY id" работает, и мой вопрос был о argMax :-)
A
Alexandr
Это к чему? я вроде написал, что запрос "SELECT * FROM limit_by ORDER BY id,val DESC LIMIT 1 BY id" работает, и мой вопрос был о argMax :-)
SELECT id, argMax(val,val) FROM limit_by group by id;
D
Alexandr
используя этот пример - https://clickhouse.tech/docs/ru/sql-reference/statements/select/limit-by/ работает все через SELECT * FROM limit_by ORDER BY id,val DESC LIMIT 1 BY id ... но с argMax не выходит. Можете подсказать запрос, основываясь на этом примере ?
дайте подзапрос с генерацией дупликатных данных - получите запрос... а так примеров прям в этом чате полно
A
дайте подзапрос с генерацией дупликатных данных - получите запрос... а так примеров прям в этом чате полно
👍
A
вообщем, max, PREWHERE пока самый "быстрый" max
10000 rows in set. Elapsed: 2.171 sec. Processed 44.09 thousand rows, 30.58 MB (20.30 thousand rows/s., 14.08 MB/s.)
avgMax
10000 rows in set. Elapsed: 2.266 sec. Processed 44.09 thousand rows, 30.58 MB (19.46 thousand rows/s., 13.49 MB/s.)
limit BY
10000 rows in set. Elapsed: 2.463 sec. Processed 44.09 thousand rows, 30.58 MB (17.90 thousand rows/s., 12.42 MB/s.)
10000 rows in set. Elapsed: 2.171 sec. Processed 44.09 thousand rows, 30.58 MB (20.30 thousand rows/s., 14.08 MB/s.)
avgMax
10000 rows in set. Elapsed: 2.266 sec. Processed 44.09 thousand rows, 30.58 MB (19.46 thousand rows/s., 13.49 MB/s.)
limit BY
10000 rows in set. Elapsed: 2.463 sec. Processed 44.09 thousand rows, 30.58 MB (17.90 thousand rows/s., 12.42 MB/s.)
D
на 44 тыс строк тестировать так себе )
у вас скорее всего просто deviation
у вас скорее всего просто deviation
A
на 44 тыс строк тестировать так себе )
у вас скорее всего просто deviation
у вас скорее всего просто deviation
согласен, надо будет на миллионике повторить
D
materialize_ttl_after_modify 1 0 Apply TTL for old data, after ALTER MODIFY TTL query
вот такие новые дефолты конечно должны быть красным крупным шрифтом помечены )
все встало на изменении ТТЛ...
казалось бы безобидная вещь:
ALTER TABLE tblname MODIFY TTL ts + toIntervalDay(4) TO VOLUME 'diskold';
потому что мерджи перестали успевать изза мутаций, а потом мутации перестали выполнятся из-за number_of_free_entries_in_pool_to_execute_mutation (эта софт-"дедлок" ситуация кстати очень неудачная - в теории КХ должен выруливать - но не выруливает видимо из за скипов связанных number_of_free_entries_in_pool_to_lower_max_size_of_merge + 16k parts)
логи 10 штук по гб крутанулись за пару часов и шабат испорчен ))))
2021 January 24
A
посоветуйте инструмент на базе которого визуально можно проектировать витрины..совместимый с ch
S
grafana
A
Slawka
grafana
уже используем, но Dragand drop.. можно ли на нем сделать?
S
AiT
уже используем, но Dragand drop.. можно ли на нем сделать?
Подробнее
A
есть Powerbi, у него есть возможность создавать олап кубы, хочется что- то похожее или хотя понять на базе какого инструмента изобретать велосипед
A
ну или м.б. кто уже сделал и продает
AB
AiT
посоветуйте инструмент на базе которого визуально можно проектировать витрины..совместимый с ch
Мы несколько месяцев используем metabase - вполне устраивает
v
AiT
посоветуйте инструмент на базе которого визуально можно проектировать витрины..совместимый с ch
superset от apache
v
Мы несколько месяцев используем metabase - вполне устраивает
метабаза бедная)