Size: a a a

ClickHouse не тормозит

2020 September 29

DT

Dmitry Titov in ClickHouse не тормозит
Philipp Shayzhanov
А как безболезненно в фоне тогда выполнить POPULATE?
Отдельно создаем MAT VIEW без POPULATE отдельно копируем старые данные
источник

PS

Philipp Shayzhanov in ClickHouse не тормозит
А если на инсерт не сработало? То как сделать, чтобы данные появились?
источник

DT

Dmitry Titov in ClickHouse не тормозит
Philipp Shayzhanov
А если на инсерт не сработало? То как сделать, чтобы данные появились?
Если не сработало на INSERT это значит клиенту должен был вернутся exeption
источник

DT

Dmitry Titov in ClickHouse не тормозит
Но в описании к POPULATE прямо сказано, что часть вставок которая прилетела во время создания MV он может пропустить
источник

PS

Philipp Shayzhanov in ClickHouse не тормозит
А может такое быть, что вью перестала работать
источник

AT

Alexander T in ClickHouse не тормозит
почему так получается? coalesce же должен отдавать не нулл, если он есть в аргументах
источник

PS

Philipp Shayzhanov in ClickHouse не тормозит
А может такое быть, что все material view просто перестали работать?
источник

KS

Kostya Struga in ClickHouse не тормозит
Добрый день! Дайте немного понимания - есть MV в которой происходит JOIN с использованием ключа партиционирования timestamp и идентификатора (которого нет в индексах), на больших данных "Memory limit (for query) exceeded", хотя если делать аналогичный запрос с использованием значений памяти используется намного меньше предела. Пока не смог найти этому объяснения, может тыкнете где почитать
источник

SC

Smoked Cheese in ClickHouse не тормозит
не использовать JOIN в MV, использовать словари
источник

SC

Smoked Cheese in ClickHouse не тормозит
Переслано от Denny Crane [not a Y...
зачем вам join в MV? join замедляет insert , так как MV вызывает хер знает сколько раз на каждый инсерт, то проде это такие MV вообще не работают
источник

KS

Kostya Struga in ClickHouse не тормозит
Smoked Cheese
не использовать JOIN в MV, использовать словари
да я понимаю, что это не комельфо, но таблица с тригером очень небольшая, а join сильно упрощает работу тем кто загружает данные, поэтому был готов мириться с этим ограничением, скорость в целом тоже не важна
источник

D

Dj in ClickHouse не тормозит
Kostya Struga
да я понимаю, что это не комельфо, но таблица с тригером очень небольшая, а join сильно упрощает работу тем кто загружает данные, поэтому был готов мириться с этим ограничением, скорость в целом тоже не важна
>но таблица с тригером очень небольшая

>Memory limit (for query) exceeded"

делайте выводы )
можете попробовать уменьшить размер вставки...
источник

SC

Smoked Cheese in ClickHouse не тормозит
Kostya Struga
да я понимаю, что это не комельфо, но таблица с тригером очень небольшая, а join сильно упрощает работу тем кто загружает данные, поэтому был готов мириться с этим ограничением, скорость в целом тоже не важна
а таблица справа большая?
источник

KS

Kostya Struga in ClickHouse не тормозит
Smoked Cheese
а таблица справа большая?
справа да большая, но по таймстемпу должно обрабатываться вполне адекватное количество столбцов +- 200к
источник

SC

Smoked Cheese in ClickHouse не тормозит
может лучше просто view сделать или live view?
источник

SC

Smoked Cheese in ClickHouse не тормозит
JOIN в MV неюзабельны и с этим ничего не сделать (только костылями обкладывать)
источник

AT

Alexander T in ClickHouse не тормозит
Alexander T
почему так получается? coalesce же должен отдавать не нулл, если он есть в аргументах
подскажите, кто знает, пожалуйста.
источник

DT

Dmitry Titov in ClickHouse не тормозит
Alexander T
почему так получается? coalesce же должен отдавать не нулл, если он есть в аргументах
добавь в coalesce еще toDate(now()) третьим и посмотрим.
Какая версия кх
источник

D

Dj in ClickHouse не тормозит
Kostya Struga
справа да большая, но по таймстемпу должно обрабатываться вполне адекватное количество столбцов +- 200к
тогда лучше фильтруйте правую таблицу через ИН... тогда будет в память влезать. говно, но хотя бы в память влезет
источник

D

Dj in ClickHouse не тормозит
Kostya Struga
справа да большая, но по таймстемпу должно обрабатываться вполне адекватное количество столбцов +- 200к
select cols from tab1 join (select cols from tab2 where (key1...keyN) in (select key1... keyN from tab1)
источник