MK
даже два раза
Size: a a a
2021 February 23
MK
а это безопасно при апгрейде версии не обновлять конфиг до версии пакета?
DT
при инсерте падает
2021.02.23 17:14:05.970043 [ 20184 ] {} <Error> StorageRabbitMQ (test): Producer's channel 32 error: connection lost
2021.02.23 17:14:05.970533 [ 20184 ] {} <Error> StorageRabbitMQ (test): Library error report: connection lost
но сообщение все равно публикуется
2021.02.23 17:14:05.970043 [ 20184 ] {} <Error> StorageRabbitMQ (test): Producer's channel 32 error: connection lost
2021.02.23 17:14:05.970533 [ 20184 ] {} <Error> StorageRabbitMQ (test): Library error report: connection lost
но сообщение все равно публикуется
вы из кх вставляете в реббит?
MK
вы из кх вставляете в реббит?
да
DT
а это безопасно при апгрейде версии не обновлять конфиг до версии пакета?
Да, но обычно вообще советуем не трогать дефолтный конфига а просто писать все перегрузки сеттингов в /config.d
DT
Сложно сказать, пишите issue на гитхаб, пользователей реббит движка не очень много.
TM
Есть в кликхаус возможность спарсить json любой глубины вложенности. Сразу говорю, документацию смотрел, просто не хочется костыли писать.
VA
Timur Mukhamet
Есть в кликхаус возможность спарсить json любой глубины вложенности. Сразу говорю, документацию смотрел, просто не хочется костыли писать.
Так почитайте. Там короткий текст и есть несколько важных нюансов:
https://clickhouse.tech/docs/ru/sql-reference/functions/json-functions/
https://clickhouse.tech/docs/ru/sql-reference/functions/json-functions/
TM
Вдоль и поперек прочитал, пришел к выводу, что нет. Проблема как раз в этих нюансах.
VA
Ну в общем оно там весьма ограничено, да. Если многомерный json с повторами имён - то увы, надо искать другой подход (парсить вне клика, например)
TM
Спасибо!
BB
Добрый вечер. Читаем данные из Кафки , пишем в *mergeTree таблицу . Как результат очень много активных кусков после инсерта, которые со временем (несколько минут) исчезают. Правильным ли подходом будет читать в buffer таблицу ? Смущает ее особенность, когда данные могут потеряться.
DT
Добрый вечер. Читаем данные из Кафки , пишем в *mergeTree таблицу . Как результат очень много активных кусков после инсерта, которые со временем (несколько минут) исчезают. Правильным ли подходом будет читать в buffer таблицу ? Смущает ее особенность, когда данные могут потеряться.
Очень много это сколько?
что с партиционированием, какой поток данных
что с партиционированием, какой поток данных
BB
Очень много это сколько?
что с партиционированием, какой поток данных
что с партиционированием, какой поток данных
5-10 тысяч, партиционирования по месяцам. Поток 10-20 мб/с ( сотни тысяч строк) , но читается батчами по 5к, если не ошибаюсь.
DT
5-10 тысяч, партиционирования по месяцам. Поток 10-20 мб/с ( сотни тысяч строк) , но читается батчами по 5к, если не ошибаюсь.
> , но читается батчами по 5к, если не ошибаюсь.
Это что то неправильное, какая версия кх?
Это что то неправильное, какая версия кх?
BB
> , но читается батчами по 5к, если не ошибаюсь.
Это что то неправильное, какая версия кх?
Это что то неправильное, какая версия кх?
Не совсем понял. Версия декабрьская 2020 или январская, точно не вспомню .
DT
Не совсем понял. Версия декабрьская 2020 или январская, точно не вспомню .
А какой размер партов который кх создает?
BB
А какой размер партов который кх создает?
К сожалению , такие подробности не имею возможности уточнить.
2021 February 24
P
Добрый вечер. Читаем данные из Кафки , пишем в *mergeTree таблицу . Как результат очень много активных кусков после инсерта, которые со временем (несколько минут) исчезают. Правильным ли подходом будет читать в buffer таблицу ? Смущает ее особенность, когда данные могут потеряться.
Тоже прочитал про буфер-движок и подумал, что он на уровне кх реализует то, что у нас сейчас наша самописеая приложенька делает: читает кафку, раз в 10 сек скидывает батч по 5-20к записей в кх. Но почитав подробней про buffer, понял, что наше решение огонь))
Ну, а вообще 5-10 тыщ партов это овер дохуя
Ну, а вообще 5-10 тыщ партов это овер дохуя
M
5-10 тысяч, партиционирования по месяцам. Поток 10-20 мб/с ( сотни тысяч строк) , но читается батчами по 5к, если не ошибаюсь.
настройке в кафка-движке что бы батчи были по 64к
дефолтный сеттинг слишком маленький
дефолтный сеттинг слишком маленький