AV
ага, понял, как раз хотел спросить, что в итоге лучше) окей, спасибо
Size: a a a
2020 August 07
H
держись
ВР
Подскажите пожалуйста, в таблицу с движком кафка пишу данные, все данные пишу в стринги, чтобы ошибок преобразования типов не было, потом в материализованной вьюхе преобразую типы и если ошибка преобразования, то где такие сообщения вычитать?
DC
Подскажите пожалуйста, в таблицу с движком кафка пишу данные, все данные пишу в стринги, чтобы ошибок преобразования типов не было, потом в материализованной вьюхе преобразую типы и если ошибка преобразования, то где такие сообщения вычитать?
в логах err.log
можно в MV делать такие преобразования чтобы ошибок не было
можно в MV делать такие преобразования чтобы ошибок не было
DC
т.е. есть функции toUInt32OrZero и так и для всего
ВР
в логах err.log
можно в MV делать такие преобразования чтобы ошибок не было
можно в MV делать такие преобразования чтобы ошибок не было
Я вот на такую статью наткнулся, но не знаю где искать.
В JSON, TSV и подобных текстовых форматах можно анализировать все поля как строки, преобразуя их к соответствующим типам на уровне материализованного представления. Это позволяет ClickHouse помещать искаженные сообщения в отдельный поток со специальными виртуальными столбцами, такими как _error или _raw_message.
ВР
я на уровне MV и делаю преобразование
DC
Я вот на такую статью наткнулся, но не знаю где искать.
В JSON, TSV и подобных текстовых форматах можно анализировать все поля как строки, преобразуя их к соответствующим типам на уровне материализованного представления. Это позволяет ClickHouse помещать искаженные сообщения в отдельный поток со специальными виртуальными столбцами, такими как _error или _raw_message.
что искать? там просто предлагается самому в MV проверять if / else и писать в свои столбцы
_errorВР
что искать? там просто предлагается самому в MV проверять if / else и писать в свои столбцы
_errorпонял, спасибо за быстрый ответ
DC
а вообще человек ссылается (написав рекламную статью и похоже не видя КХ вообще) на https://altinity.com/blog/clickhouse-kafka-engine-faq
There is a lot of room for improvement here. In particular, ClickHouse could put malformed messages in a separate stream with special virtual columns, like _error, and maybe _raw_message. A user then could attach a materialized view to filter them out or store separately.
т.е. это типа а вот если бы
There is a lot of room for improvement here. In particular, ClickHouse could put malformed messages in a separate stream with special virtual columns, like _error, and maybe _raw_message. A user then could attach a materialized view to filter them out or store separately.
т.е. это типа а вот если бы
ВР
а вообще человек ссылается (написав рекламную статью и похоже не видя КХ вообще) на https://altinity.com/blog/clickhouse-kafka-engine-faq
There is a lot of room for improvement here. In particular, ClickHouse could put malformed messages in a separate stream with special virtual columns, like _error, and maybe _raw_message. A user then could attach a materialized view to filter them out or store separately.
т.е. это типа а вот если бы
There is a lot of room for improvement here. In particular, ClickHouse could put malformed messages in a separate stream with special virtual columns, like _error, and maybe _raw_message. A user then could attach a materialized view to filter them out or store separately.
т.е. это типа а вот если бы
да, я подумал, что такой механизм реализован в самом КХ и не надо ничего выдумывать. Сложности перевода :(
A
Привет. Подскажите, что можно оптимизировать в
config.xml, кроме <max_server_memory_usage_to_ram_ratio>, чтобы ClickHouse потреблял минимум памяти? Скажем, 512 MB или меньше. Складирую в ClickHouse данные пачками по несколько тысяч штук раз в секунду.A
Может есть какие-то твики, уменьшающие производительность, но потребляющие меньше памяти?
A
Или экспериментальные фичи какие-то, отключенные по умолчанию?
DC
Привет. Подскажите, что можно оптимизировать в
config.xml, кроме <max_server_memory_usage_to_ram_ratio>, чтобы ClickHouse потреблял минимум памяти? Скажем, 512 MB или меньше. Складирую в ClickHouse данные пачками по несколько тысяч штук раз в секунду.нету, т.е. можно конечно помучатся и в 2 ГБ влезть. Но я бы не стал. Я бы сразу взял sqlite
A
для 2 GB нужно как-то специально тюнить? Я меня на 2 гигах более-менее стабильно все работало.
DC
для 2 GB нужно как-то специально тюнить? Я меня на 2 гигах более-менее стабильно все работало.
конечно нужно. Например есть дефолтный параметр mark_cache который со временем раздувает кеш марков до 5ГБ, ну мержи могут и гб скушать. И зависит от кол-ва столбцов, на 400 стролбцах инсерт 1 строки скушает 1GB
A
всем привет. КХ умел до этой фичи джоинить, используя диск?
A
A
у меня 10 столбцов