ДБ
Я пока изучаю кх и есть рабочая схема с elk. Мне в таком случае надо логику переносить на другие логстеши
Size: a a a
2020 September 23
DG
У меня например filebeat'тьі собирают логи и кидают в логстеши, которьіе через кролей прилетают в логстеши (схема от elk осталась) которьіе логи обрабатуют и параллельно кидают в elastic и clickhouse, задержка пару секунд бьівает. Но в єтой схеме большой овер по ремурсам
Схема рабочая, но я не в курсе за гарантии файлбита при обрывах и проч., как и логстеша. Гоняют логи и ладно, ну потеряют там что-то.
Данные для бизнеса важные.
Данные для бизнеса важные.
ДБ
В данной схеме мьі теряли логи только если пуржири кролей при пепеполнении при падении elasticsearch
ДБ
Фаилбитьі спокойно отрабатьівали ротацию логов без потерь, но на вм/физика.
DC
Ну вот я думаю в сторону кролика или кафки, но хотел услышать пару мнений. Кто как справлялся.
kafka расчитана на милисекундную летенси (внутри DC). Иначе надо делать cross-region репликацию
(продьюсер и брокер внутри одного DC) <-- океан --> (брокер и консьюмер внутри другого DC)
(продьюсер и брокер внутри одного DC) <-- океан --> (брокер и консьюмер внутри другого DC)
DG
kafka расчитана на милисекундную летенси (внутри DC). Иначе надо делать cross-region репликацию
(продьюсер и брокер внутри одного DC) <-- океан --> (брокер и консьюмер внутри другого DC)
(продьюсер и брокер внутри одного DC) <-- океан --> (брокер и консьюмер внутри другого DC)
Да, примерно так и представляю. Напрямую в заокеанскую очередь писать не планирую.
Никогда ничего подобного не делал на таких расстояниях, посему туплю и присматриваюсь к вариантам.
Например, не очень понимаю, как именно работает та самая cross-region репликация в нужном мне виде. Мне не нужно две копии очередей в US и EU. Мне нужно куда-то записать в US, чтобы оно потом перекинуло с гарантиями в EU и оттуда кликхаус это прочел. Также мне нужно, чтобы из EU я тоже писал в EU (и чтобы это не летело в US), и кликхаус оттуда прочел.
Никогда ничего подобного не делал на таких расстояниях, посему туплю и присматриваюсь к вариантам.
Например, не очень понимаю, как именно работает та самая cross-region репликация в нужном мне виде. Мне не нужно две копии очередей в US и EU. Мне нужно куда-то записать в US, чтобы оно потом перекинуло с гарантиями в EU и оттуда кликхаус это прочел. Также мне нужно, чтобы из EU я тоже писал в EU (и чтобы это не летело в US), и кликхаус оттуда прочел.
DG
Короче говоря, с кафкой я не работал вообще, вероятно это из коробки работает, а я чушь спрашиваю.
II
/report
T🐜
Доброй ночи.
Вопрос не совсем по кликхаусу, но. Как доставляете десять тысяч кликхаусовых записей в секунду из Америки в Европу или наоборот? С какими-никакими гарантиями и без минутных задержек.
Вопрос не совсем по кликхаусу, но. Как доставляете десять тысяч кликхаусовых записей в секунду из Америки в Европу или наоборот? С какими-никакими гарантиями и без минутных задержек.
Задержки все равно будут. Это просто физика. Порядка 100мс минимальная.
YV
Короче говоря, с кафкой я не работал вообще, вероятно это из коробки работает, а я чушь спрашиваю.
За кафку не скажу, в кролике это через федеративные очереди организовано
У
Сам по себе кликхаус это некоторые задержки по времени, вставляются ж данные пачками, поэтому если вы переживаете за секундные задержки - кликхаус не для вас
R
Всем привет.
Подскажите, какая последняя стабильная версия КХ?
v20.9.2.20 - ok?
Подскажите, какая последняя стабильная версия КХ?
v20.9.2.20 - ok?
AR
Подскажите, можно ли как-то при SQL-ориентированном управлении доступом получить:
1. список всех пользователей
2. Список всех ролей
1. список всех пользователей
2. Список всех ролей
A
Подскажите, можно ли как-то при SQL-ориентированном управлении доступом получить:
1. список всех пользователей
2. Список всех ролей
1. список всех пользователей
2. Список всех ролей
select * from system.users;
A
до этого - grant SHOW USERS ON *.* для default
A
если вы его юзаете
Э
записи удаляются если есть операция MERGE
она есть тогда когда новые данные вставляются и по таймауте
попробуй таймаут меньше сделать
https://clickhouse.tech/docs/en/engines/table-engines/mergetree-family/mergetree/#mergetree-table-ttl
merge_with_ttl_timeout — Minimum delay in seconds before repeating a merge with TTL. Default value: 86400 (1 day).
это в <yandex><merge_tree> ... в /config.d/ надо по идее прописать
она есть тогда когда новые данные вставляются и по таймауте
select * from system.merges
попробуй таймаут меньше сделать
https://clickhouse.tech/docs/en/engines/table-engines/mergetree-family/mergetree/#mergetree-table-ttl
merge_with_ttl_timeout — Minimum delay in seconds before repeating a merge with TTL. Default value: 86400 (1 day).
это в <yandex><merge_tree> ... в /config.d/ надо по идее прописать
А если так оставить то записи удалятся за 8 дней?
AR
Alexandr
select * from system.users;
спасибо
S
А если так оставить то записи удалятся за 8 дней?
по идее раз в сутки триггер сработает на TTL
очистит все что удовлетворяет TTL
если не срабатывает надо смотреть логи сервера
очистит все что удовлетворяет TTL
если не срабатывает надо смотреть логи сервера
KS
Да, примерно так и представляю. Напрямую в заокеанскую очередь писать не планирую.
Никогда ничего подобного не делал на таких расстояниях, посему туплю и присматриваюсь к вариантам.
Например, не очень понимаю, как именно работает та самая cross-region репликация в нужном мне виде. Мне не нужно две копии очередей в US и EU. Мне нужно куда-то записать в US, чтобы оно потом перекинуло с гарантиями в EU и оттуда кликхаус это прочел. Также мне нужно, чтобы из EU я тоже писал в EU (и чтобы это не летело в US), и кликхаус оттуда прочел.
Никогда ничего подобного не делал на таких расстояниях, посему туплю и присматриваюсь к вариантам.
Например, не очень понимаю, как именно работает та самая cross-region репликация в нужном мне виде. Мне не нужно две копии очередей в US и EU. Мне нужно куда-то записать в US, чтобы оно потом перекинуло с гарантиями в EU и оттуда кликхаус это прочел. Также мне нужно, чтобы из EU я тоже писал в EU (и чтобы это не летело в US), и кликхаус оттуда прочел.
Отличное ТЗ, берете и делаете. Из коробки у Кафки есть мироринг из одного кластера в другой,но на практике работает плохо. Самое простое это написать что нужно самим. Там все ровно как написано выше: читаете, пишите куда вам там надо и все. Между eu и us лучше вычитывать пачку, сжимать и отправлять, вот и все