q
Ни в какую не хочет работать
Size: a a a
2020 July 15
q
Может кто подскажет как это побороть ?
V
ну тогда дело закрыто?
Спасибо за помощь. Селекты стали отрабатывать нормально (проверил на таблице с 1.7 млрд записей) - память не выедается. Магия =)
РГ
Всем привет!
Подскажите поддерживается ли запись в КХ из кафки вложенного json’а? плоскую структуру получается сохранить, а со вложенными данными нет.
Подскажите поддерживается ли запись в КХ из кафки вложенного json’а? плоскую структуру получается сохранить, а со вложенными данными нет.
Е
Всем привет!
Подскажите поддерживается ли запись в КХ из кафки вложенного json’а? плоскую структуру получается сохранить, а со вложенными данными нет.
Подскажите поддерживается ли запись в КХ из кафки вложенного json’а? плоскую структуру получается сохранить, а со вложенными данными нет.
я в это случае разворачивала по полям, массивы по строкам, то есть превращала в плоский, вложенные таблицы использовать все равно неудобно, либо сохранять вложенный JSON в поле, при необходимости парсить
РГ
я в это случае разворачивала по полям, массивы по строкам, то есть превращала в плоский, вложенные таблицы использовать все равно неудобно, либо сохранять вложенный JSON в поле, при необходимости парсить
разворачивали по полям уже в КХ (те в кафке сообщение осталось вложенным)?
Е
разворачивали по полям уже в КХ (те в кафке сообщение осталось вложенным)?
ну, мы, вообще, между кафкой и кликхаусом некий функционал передачи данных написали, не пользовались внутренним функционалом, не зашло, а сообщения парсили в кликхаусе, парсеры показали себя на удивление производительными, но можно и в передаче данных разными вариантам эту трансформацию реализовать, то есть, сообщения так или иначе где-то лежат, как есть - в виде вложенных JSON, просто чтобы было и для надежности или прочих целей, а в таблицах уже все развернуто
DC
разворачивали по полям уже в КХ (те в кафке сообщение осталось вложенным)?
kafka engine данные не хранит, только поллит, там можно сделать строку, в нее json, а в MV преобразовать строку в поля
РГ
kafka engine данные не хранит, только поллит, там можно сделать строку, в нее json, а в MV преобразовать строку в поля
через формат
JSONAsString?АК
Подскажите пожалуйста необходимо рестартить сервер при раскоментировании модуля прометеуса в config.xml?
DC
да, MV на локальную, репликации на пробном кластере для новой версии CH пока нет
у вас изменен prefer_localhost_replica ?
репликации нет, в смысле таблицы просто mergeTree ?
internal_replication = false ? в remote_servers?
репликации нет, в смысле таблицы просто mergeTree ?
internal_replication = false ? в remote_servers?
Е
у вас изменен prefer_localhost_replica ?
репликации нет, в смысле таблицы просто mergeTree ?
internal_replication = false ? в remote_servers?
репликации нет, в смысле таблицы просто mergeTree ?
internal_replication = false ? в remote_servers?
prefer_localhost_replica не трогали
internal_replication в конфиге закомментировали, вроде по умолчанию он false?
да, таблицы mergeTree
internal_replication в конфиге закомментировали, вроде по умолчанию он false?
да, таблицы mergeTree
Е
через формат
JSONAsString?https://clickhouse.tech/docs/ru/sql-reference/functions/json-functions/#jsonextractrawjson-indices-or-keys
вот так парсить можно все, что угодно
вот так парсить можно все, что угодно
D
Такая проблема: при попытке дать словарю права с помощью GRANT dictGet ON dB.dict TO user пишет синтаксическую ошибку
q
D
Да
судя по этому тесту должно работать, значит баг....
https://github.com/ClickHouse/ClickHouse/blob/5297d1e86aa64114f8a8c8384979f848fb0156b2/tests/integration/test_dictionaries_access/test.py
https://github.com/ClickHouse/ClickHouse/blob/5297d1e86aa64114f8a8c8384979f848fb0156b2/tests/integration/test_dictionaries_access/test.py
DC
Да
какая версия кх ?
q
20.3.8 revision 54433
DC
20.3.8 revision 54433
допишите в тикет, и не факт что там это должно работать, официально grant-ы с 20.4 в релизе
q
Спасибо, сделал