DT
Удалит, но не сразу как и CollapsingMergeTree
Size: a a a
2020 June 26
AP
это как ReplacingMergeTree удаляет строки?
p
Alexander Petrov
это как ReplacingMergeTree удаляет строки?
Он оставляет только последний ver
DT
По ключу ORDER BY
AP
Я это знаю. Не похоже это на удаление некоторых строк
p
А раз поднялась тема про CollapsingMergeTree. Такой вопрос. Если просто дописывать строки с Sign=1, то при "схлопывании" останется просто любая из них?
AP
Не знаю как CollapsingMergeTree - юзал только VersionedCollapsingMergeTree. Там при такой неаккуратной вставке метрики начинает во все сторны шатать ибо остаётся 2 строки с sign>0.
AP
Это после первой неаккуратной вставки, а если строка ещё раз менялась, то дальше ещё непонятнее.
AP
а если мы точно знаем, что предыдущее состояние строк нам не интересно и мы хотим его в любом случае заменить новым, при этом удалив некоторые из них ? Что то мне подсказывает что для этого надо какой-то другой движок использовать, а не CollapsingMergeTree.
Правильно ведь я понял что часть event'ов надо ещё и удалять? Или речь про то что надо удалить предыдущие состояния обновившихся event'ов?
AF
Alexander Petrov
Я это знаю. Не похоже это на удаление некоторых строк
Да, это не удаление. Я тоже об этом думал. Может быть добавлять новую строку с флагом 'deleted' и как-то это отрабатывать в запросах
AF
Alexander Petrov
Правильно ведь я понял что часть event'ов надо ещё и удалять? Или речь про то что надо удалить предыдущие состояния обновившихся event'ов?
да, это хранение состояния. нужно часть удалять, часть обновлять. Часть оставлять без изменений
AF
но можно просто удалять всё предыдущее и записывать новое
AP
А как определить какие строки удалять? Они в какой-то статус переходят?
AF
В новом пакете нет строк с этим uint64, который на самом деле хеш.
AP
Каждый пакет получается имеет в себе новую версию всех событий за какой-то период?
AF
Может быть я вообще не с той стороны захожу. Мне нужно хранить набор состояний примерно 10 миллионов объектов, которое меняется около сотни раз в день (какие-то объекты в состоянии удаляются, какие-то добавляются). При этом очень хочется записать историю.
В принципе clickhouse неплохо переживает это всё прямо в лоб, но размер таблицы вхождений растёт очень быстро.
В принципе clickhouse неплохо переживает это всё прямо в лоб, но размер таблицы вхождений растёт очень быстро.
AP
А каждую выгрузку в CH приезжают все 10 млн?
AF
Alexander Petrov
А каждую выгрузку в CH приезжают все 10 млн?
сейчас да.
AF
но там не сами объекты а их хэши, так что это реально не много
p
У меня тоже есть возможно подобный вопросик )
Правильно ли понимаю CollapcingMergeTree?
Если делать двойной insert.. cперва с Sign=-1 потом эта же запись с Sign=1 но это отменит предыдущую которая была до -1?
При этом тех кого новый insert не заденет, останутся как были?
Правильно ли понимаю CollapcingMergeTree?
Если делать двойной insert.. cперва с Sign=-1 потом эта же запись с Sign=1 но это отменит предыдущую которая была до -1?
При этом тех кого новый insert не заденет, останутся как были?