D
всем привет, а как сделать рефреш MV без полного пересоздания? (что то типа alter xxx populate)?
Size: a a a
2020 May 26
SC
всем привет, а как сделать рефреш MV без полного пересоздания? (что то типа alter xxx populate)?
insert into mv select?
D
insert into mv select?
уточню вопрос, как сделать рефреш не написав весь селект из МВ заново?
D
truncate & populate
SC
никак
SC
describe mv && ctrl-c + ctrl-v
AM
правильно ли я понял, что если таблица реплицирована в старом синтаксисе, то
1. нельзя просто так взять и перевести её (их) на новый
2. нельзя это сделать постепенно, для каждой реплики - нужно создавать новую таблицу в zk и в неё селект-инсертить
3. именно селект-инсертить, а никак не аттачить партиции (потому что логика деления на партиции для таблиц "в старом синтаксисе криейта" устарела)
1. нельзя просто так взять и перевести её (их) на новый
2. нельзя это сделать постепенно, для каждой реплики - нужно создавать новую таблицу в zk и в неё селект-инсертить
3. именно селект-инсертить, а никак не аттачить партиции (потому что логика деления на партиции для таблиц "в старом синтаксисе криейта" устарела)
DP
Народ, всем привет, подскажите: в какой момент выполняется агрегация данных в materialized view на движке summingmergetree?
NO
Добрый день. При выполнение запроса alter table table_name_shard delete/update on cluser выдает ошибку SQL Error [48]: ClickHouse exception, code: 48, host: 172.30.10.11, port: 8123; Code: 48, e.displayText() = DB::Exception: There was an error on [172.30.10.8:9000]: Cannot execute replicated DDL query on leader (version 19.17.6.36 (official build))
Без on cluster работает. В чем может быть причина?
Без on cluster работает. В чем может быть причина?
И
Народ, всем привет, подскажите: в какой момент выполняется агрегация данных в materialized view на движке summingmergetree?
В фоновом режиме, нельзя ориентироваться на это событие, используйте догруппировку данный на уровне запроса. Так же для партиций в которые вы уже не пишете новые данные - вы можете попробовать использовать OPTIMIZE PARTITION FINAL (см доку)
DP
В фоновом режиме, нельзя ориентироваться на это событие, используйте догруппировку данный на уровне запроса. Так же для партиций в которые вы уже не пишете новые данные - вы можете попробовать использовать OPTIMIZE PARTITION FINAL (см доку)
Данные лежат в обычном mergetree и мы пытаемся поднять производительность определенных запросов за счёт materializedview на summingmergetree. То есть пытаемся хранить преагрегаты
DP
И я вот не понимаю в какой момент он создаёт преагрегаты и будет ли прирост производительности
N
И я вот не понимаю в какой момент он создаёт преагрегаты и будет ли прирост производительности
Ну так я понимаю ,что в момент инсерт
PS
Коллеги, доброе утро! После обновления до 20.4.3.16 похоже опять появились immortal запросы. Один запрос висит, помеченный как canceled уже минут 30. Никто не сталкивался с подобной проблемой?
И
И я вот не понимаю в какой момент он создаёт преагрегаты и будет ли прирост производительности
MV - триггер на инстерт в исходную таблицу, т.е. данные в MV появятся сразу после инсерта в основную. Но они будут не до конца помержены со старыми данными в MV. Их мержи происходят в фоне, а когда я написал ранее.
DP
MV - триггер на инстерт в исходную таблицу, т.е. данные в MV появятся сразу после инсерта в основную. Но они будут не до конца помержены со старыми данными в MV. Их мержи происходят в фоне, а когда я написал ранее.
Если я строю materializedview на существующей таблице где много данных, то он после создания materializedview кучу времени будет считать преагрегаты старых данных и сохранять их получается?
И
Если я строю materializedview на существующей таблице где много данных, то он после создания materializedview кучу времени будет считать преагрегаты старых данных и сохранять их получается?
Нужно ещё учитывать что SQL выражение указанное в MV применяется не ко всем данным. А только на данные каждого блока вставленного (по умолчанию до 1М строк)
И
Тоесть это не такая дорогая операция как посчитать это SQL выражение для все таблицы
И
Вновь созданная MV на существующей таблице будет пустой, т.к. MV - триггер на инсерт
S
Есть при создании флаг POPULATE, который обработает уже записанные данные в исходной ттаблице.