Size: a a a

Церковь метрик

2019 October 31

vk

vladimir kolobaev in Церковь метрик
Хранение инфраструктурных и бизнесовых метрик в одном месте, предоставляет отличную возможность для анализа происходящего в реальном времени
источник

ЕО

Евгений Омельченко in Церковь метрик
> бизнесовые метрики
> в реальном времени
источник

ЕО

Евгений Омельченко in Церковь метрик
Вы делаете что-то не так
источник

vk

vladimir kolobaev in Церковь метрик
Евгений Омельченко
Вы делаете что-то не так
Это маловероятно
источник

ЕО

Евгений Омельченко in Церковь метрик
Вы серьёзно бизнесовые метрики в КХ храните?
источник

vk

vladimir kolobaev in Церковь метрик
Евгений Омельченко
Вы серьёзно бизнесовые метрики в КХ храните?
Да, конечно. Это не значит что мы храним их только в КХ, продуктовые события летят в Вертику, а статистика по ним в КХ
источник

VS

Vladimir Smirnov in Церковь метрик
vladimir kolobaev
Да, конечно. Это не значит что мы храним их только в КХ, продуктовые события летят в Вертику, а статистика по ним в КХ
Это значит что они пересчитываемы
источник

VS

Vladimir Smirnov in Церковь метрик
И я б инвестировал в механизм пересчета
источник

ЕО

Евгений Омельченко in Церковь метрик
Ну, короче, VM это совсем не про бизнес-аналитику. КХ получше, оч хорошо если он на ваших масштабах работает
источник

VS

Vladimir Smirnov in Церковь метрик
Евгений Омельченко
Ну, короче, VM это совсем не про бизнес-аналитику. КХ получше, оч хорошо если он на ваших масштабах работает
Он тоже про аналитику, но не про "единственный надёжный источник истины"
источник

ЕО

Евгений Омельченко in Церковь метрик
Vladimir Smirnov
Он тоже про аналитику, но не про "единственный надёжный источник истины"
Под бизнес-аналитикой я понимаю скорее методики и практики
источник

RL

Roman Lomonosov in Церковь метрик
Может кто-нить аргументирует что не так с КХ в плане надежности хранения?
источник

ЕО

Евгений Омельченко in Церковь метрик
КХ для этих целей подходит, но плохо масштабируется
источник

ЕО

Евгений Омельченко in Церковь метрик
Roman Lomonosov
Может кто-нить аргументирует что не так с КХ в плане надежности хранения?
Что не так для чего? Для метрик или для ДВХ? Или для логов?
источник

AV

Aliaksandr Valialkin in Церковь метрик
vladimir kolobaev
КХ решает и проблему лонгСторейджа, и защищает данные от их потери, он такой же opensource.
- Что происходит со вставкой новых данных в кх, когда зукипер начинает глючить? Вроде КХ переходит в ридонли режим и не принимает новых данных. Где вы храните не записанные данные в этом случае, чтобы они не потерялись?
- Допустим, данные на одной из реплик КХ потерялись. Вы запускаете эту реплику на новом сторедже и КХ начинает переливать данные из живых реплик на пустую. Что произойдет, если нужно перелить несколько терабайт данных? Вся сеть будет занята переливаемыми данными в течение длительного времени. Это может негативно сказаться на производительности КХ, в т.ч. он может стать не успевать принимать новые данные.
- КХ, как и любое другое решение, не обеспечивает сохранность данных в случае пользовательской ошибки - случайного удаления данных, некорректного применения ALTER TABLE, неправильного обновления конфигов КХ либо некорректного обновления версии КХ. Как вы обеспечиваете сохранность данных в этом случае?
источник

vk

vladimir kolobaev in Церковь метрик
Евгений Омельченко
КХ для этих целей подходит, но плохо масштабируется
Вот тут я не соглашусь, репликация и шардирование в КХ работают отлично.
источник

ЕО

Евгений Омельченко in Церковь метрик
vladimir kolobaev
Вот тут я не соглашусь, репликация и шардирование в КХ работают отлично.
Только аналитические запросы начнут выжирать всю память и тормозить на определенных масштабах. Тут лучше map-reduce никто ничего не придумал
источник

ЕО

Евгений Омельченко in Церковь метрик
Т.е. я искренне рад, что вы помещаетесь в КХ, но вы его явно переоцениваете
источник

vk

vladimir kolobaev in Церковь метрик
Aliaksandr Valialkin
- Что происходит со вставкой новых данных в кх, когда зукипер начинает глючить? Вроде КХ переходит в ридонли режим и не принимает новых данных. Где вы храните не записанные данные в этом случае, чтобы они не потерялись?
- Допустим, данные на одной из реплик КХ потерялись. Вы запускаете эту реплику на новом сторедже и КХ начинает переливать данные из живых реплик на пустую. Что произойдет, если нужно перелить несколько терабайт данных? Вся сеть будет занята переливаемыми данными в течение длительного времени. Это может негативно сказаться на производительности КХ, в т.ч. он может стать не успевать принимать новые данные.
- КХ, как и любое другое решение, не обеспечивает сохранность данных в случае пользовательской ошибки - случайного удаления данных, некорректного применения ALTER TABLE, неправильного обновления конфигов КХ либо некорректного обновления версии КХ. Как вы обеспечиваете сохранность данных в этом случае?
При недоступности КХ, приложение которое в него пишет, начинает писать данные на винт, и после восстановления пишет их в КХ.
Бекапы спасают от ошибки пользователя.
источник

VS

Vladimir Smirnov in Церковь метрик
Roman Lomonosov
Может кто-нить аргументирует что не так с КХ в плане надежности хранения?
В кх только асинхронная репликация без всяких кворумов на запись. Поэтому он в общем eventually consistent. Это не плохо, но это надо учитывать при разработке вокруг него
источник