DC
я ЛАП использую, но у меня вертика 7.2.
Size: a a a
2021 January 22
D
Коллеги, всем привет. У нас есть задача - подливать в кликхаус инкрементально измерения SCD Type 1 из Postgresql. Мы уже активно используем словари, но появились таблицы побольше и хотим их в коллапсингмерж, решаем как доставлять попроще. Объем - миллионы строк в день. Выбираем между напилить свое решение на триггерах или дозаморочиться с настройкой дебезиум-кафка-КХ. Мб есть какие то другие/готовые велосипеды чтоб поменьше телодвижений?
а ещё можете подождать 2-3 месяца походу ) будет репликация встроенная их ПГ...
https://youtu.be/BhvxV3ZLIhk?t=4283
https://youtu.be/BhvxV3ZLIhk?t=4283
ВВ
Столько всяких вариантов при апгрейде - судя по постам за 2 дня... Без резервного\тестового сервака никак походу ))
DC
на хорошем ноутбуке хватает запустить два докера, но мне проще инстанс в хецнере за 50 евро, на одном таком серваке с 128GB и nvme можно кластер КХ развернуть
https://www.hetzner.com/dedicated-rootserver?country=us&ssd=true&ram_from=2&ram_to=3
RAM: 128 GB DDR4 Drives: 2x 1 TB NVMe SSD from 54.00 €
https://www.hetzner.com/dedicated-rootserver?country=us&ssd=true&ram_from=2&ram_to=3
RAM: 128 GB DDR4 Drives: 2x 1 TB NVMe SSD from 54.00 €
ВВ
на хорошем ноутбуке хватает запустить два докера, но мне проще инстанс в хецнере за 50 евро, на одном таком серваке с 128GB и nvme можно кластер КХ развернуть
https://www.hetzner.com/dedicated-rootserver?country=us&ssd=true&ram_from=2&ram_to=3
RAM: 128 GB DDR4 Drives: 2x 1 TB NVMe SSD from 54.00 €
https://www.hetzner.com/dedicated-rootserver?country=us&ssd=true&ram_from=2&ram_to=3
RAM: 128 GB DDR4 Drives: 2x 1 TB NVMe SSD from 54.00 €
ну... еще + 59.00 € setup fee :)
tc
какова максимальная комфортная длина строки в колонке КХ? Или конкретнее: если пихать строки длиной 100-200КБ, инсерты батчами по 3-5к, раз в секунду - на какие грабли можно наступить?
DC
t c
какова максимальная комфортная длина строки в колонке КХ? Или конкретнее: если пихать строки длиной 100-200КБ, инсерты батчами по 3-5к, раз в секунду - на какие грабли можно наступить?
ну при мержах будет уходить память, кх читает из например 10-20 партов по 8192 строки, если там 200кб,
то 200кб * 8192 * 20 = 31.25 GB ОЗУ ? на мерж
то 200кб * 8192 * 20 = 31.25 GB ОЗУ ? на мерж
DC
это можно пофиксить merge_tree параметром merge_rows ...
tc
стоит ли фиксить или лучше ОЗУ накинуть?
DC
что вкуснее арбуз или курочка?
tc
арбуз с курочкой?
tc
это можно пофиксить merge_tree параметром merge_rows ...
благодарю за ответ)
GA
Всем добрый день! подскажите пожалуйста сработает ли TTL to disk на replicated таблицы?
D
Gulshan Agivetova
Всем добрый день! подскажите пожалуйста сработает ли TTL to disk на replicated таблицы?
Да. Отдельно на каждой реплике вроде.
А
Подскажите как запретить мерджить парты? У меня есть архивная таблица, в которую данные не поступают, и я ее переливаю на другой сервер. Вот не хочу чтобы мерджи в ней тратили ресурсы жесткого диска
AV
Доброго времени суток. Столкнулся с проблемой, после обновления 19.х -> 21.х. Неудается создать таблицу с TTL если там присутствует TO DISK, ругаеться на ошибку синтаксиса. Синтаксис изменился?
МП
доброго времени суток! подскажите, пожалуйста, можно ли безопасно пересоздавать kafak таблицу на которую навешена мат вью, не останавливая поток к саму кафку?
ВВ
Подскажите как запретить мерджить парты? У меня есть архивная таблица, в которую данные не поступают, и я ее переливаю на другой сервер. Вот не хочу чтобы мерджи в ней тратили ресурсы жесткого диска
Если данные не постуают - почему будут тратиться ресурсы? Скажите ей optimize final - и все. Потом freeze и лейте
AR
Коллеги, скажите пожалуйста, что будет если существующий кластер переключить на чистый новый zookeeper?
D
Коллеги, скажите пожалуйста, что будет если существующий кластер переключить на чистый новый zookeeper?
не будет так работать, надо контент зукипера в новый кластер перенести