Size: a a a

Архитектура ИТ-решений

2019 December 19

A

Alexey in Архитектура ИТ-решений
У нас используют Кафку с самописным коннектором (запись и чтение). Чтение на LogMiner'е. Подробностей не знаю, к сожалению: не моя вотчина.
источник

d

dreamore in Архитектура ИТ-решений
Alexey
У нас используют Кафку с самописным коннектором (запись и чтение). Чтение на LogMiner'е. Подробностей не знаю, к сожалению: не моя вотчина.
Интересно, logminer для онлайна?
источник

A

Alexey in Архитектура ИТ-решений
Не, это его функция: он в redo-log'ах копается и достаёт изменения. Имя собственное не в курсе к сожалению(
источник

A

Alexey in Архитектура ИТ-решений
У нас на Кафке некоторые задачи синхронизации БД решаются
источник

P

Pavel in Архитектура ИТ-решений
Alexey
Не, это его функция: он в redo-log'ах копается и достаёт изменения. Имя собственное не в курсе к сожалению(
Этот подход более оправдан, нежели jdbc.
источник

ВБ

Витя Б. in Архитектура ИТ-решений
Debezium использует Oracle XStreams API, для использования которого требуется лицензия GoldenGate
Коннекторы кафки есть либо для голденгейта, либо для логмайнера (что дает свои ограничения), либо для jdbc (что совсем плохо и админы mission crtitical системы такое зарубят сразу)

Исследовал в своё время вопрос простого и недорогого захвата данных навроде CDC, в этом ключе либо дорого, либо грустно
источник

HR

Harvat Rimski in Архитектура ИТ-решений
dreamore
Добрый день, коллеги-архитекторы.

Есть вопрос касаемо стриминга событий из оракла во внешний мир. Цель - отчёты из нескольких микросервисов, у каждого своя база само собой. Данные не обязательно real-time. Лаг актуальности в минут 5-15-30 допустим.

1. Кто чем решал?
2. Что думаете о kafka-connect + jdbc source connector / debezium?
3. Oracle golden gate использовал кто-нибудь?

Вопросы в контексте стабильности решения, (не)потери данных, ресурсоемкости по железу/сети ?

Спасибо за ответы и дискуссию заранее.
1. Решали так. Была промежуточная бд, ходили через дблинк в стенбай, дабы не грузить мастер, можно и регологах, но сделали как описал. Забирали данные, трансформировали на лету под неоходимость, далее сервисы на спринге и кваркусе, в купе с рэбитом(для гарантированной доставки) в рамках инфопотокам забирались и слались. Так собственно сделали миграцию 3,5 млн абон данных в рамках бизнес процессов биллинга и crm.
Задержка в переливке с мастера на стендайбай, ну и сервисами можно регулировать нагрузку на стороннюю систему, разгоняли все это до 2700 тпс.
2. Нет мыслей.
3. Рассматривали, но заказчик отказался - дорого и не оправдано.
источник

d

dreamore in Архитектура ИТ-решений
Harvat Rimski
1. Решали так. Была промежуточная бд, ходили через дблинк в стенбай, дабы не грузить мастер, можно и регологах, но сделали как описал. Забирали данные, трансформировали на лету под неоходимость, далее сервисы на спринге и кваркусе, в купе с рэбитом(для гарантированной доставки) в рамках инфопотокам забирались и слались. Так собственно сделали миграцию 3,5 млн абон данных в рамках бизнес процессов биллинга и crm.
Задержка в переливке с мастера на стендайбай, ну и сервисами можно регулировать нагрузку на стороннюю систему, разгоняли все это до 2700 тпс.
2. Нет мыслей.
3. Рассматривали, но заказчик отказался - дорого и не оправдано.
Спасибо, примерно от этом думали
источник

HR

Harvat Rimski in Архитектура ИТ-решений
Сервисы на кластере k8s крутились.
источник

GK

Gennadiy Kruglov in Архитектура ИТ-решений
dreamore
Добрый день, коллеги-архитекторы.

Есть вопрос касаемо стриминга событий из оракла во внешний мир. Цель - отчёты из нескольких микросервисов, у каждого своя база само собой. Данные не обязательно real-time. Лаг актуальности в минут 5-15-30 допустим.

1. Кто чем решал?
2. Что думаете о kafka-connect + jdbc source connector / debezium?
3. Oracle golden gate использовал кто-нибудь?

Вопросы в контексте стабильности решения, (не)потери данных, ресурсоемкости по железу/сети ?

Спасибо за ответы и дискуссию заранее.
Если уже есть GoldenGate, то стоит использовать его для стримминга в Kafka. Как выше описал Рамиль, можно выгружать в Hadoop, если есть Hadoop.

Вопрос, какие отчёты и с помощью чего вы собираетесь строить?
источник

GK

Gennadiy Kruglov in Архитектура ИТ-решений
Витя Б.
Debezium использует Oracle XStreams API, для использования которого требуется лицензия GoldenGate
Коннекторы кафки есть либо для голденгейта, либо для логмайнера (что дает свои ограничения), либо для jdbc (что совсем плохо и админы mission crtitical системы такое зарубят сразу)

Исследовал в своё время вопрос простого и недорогого захвата данных навроде CDC, в этом ключе либо дорого, либо грустно
Что Вы понимаете под CDC? GoldenGate и Debezium не относится к CDC?
источник

d

dreamore in Архитектура ИТ-решений
Gennadiy Kruglov
Если уже есть GoldenGate, то стоит использовать его для стримминга в Kafka. Как выше описал Рамиль, можно выгружать в Hadoop, если есть Hadoop.

Вопрос, какие отчёты и с помощью чего вы собираетесь строить?
Ко мне попал живущий проект. Отчёты есть какие есть. В виде word, excel и pdf. Но сейчас они ужасны по производительности настолько, что отчёт больше чем за неделю выгрузить невозможно. Низкая утилизация железа, проблема чисто архитектурно-прикладная. Люди изголяются и отчёты за произвольный период строят как сборник из понедельных отчётов, сводят данные...кровь, кишки, интерпрайз
источник

GK

Gennadiy Kruglov in Архитектура ИТ-решений
dreamore
Ко мне попал живущий проект. Отчёты есть какие есть. В виде word, excel и pdf. Но сейчас они ужасны по производительности настолько, что отчёт больше чем за неделю выгрузить невозможно. Низкая утилизация железа, проблема чисто архитектурно-прикладная. Люди изголяются и отчёты за произвольный период строят как сборник из понедельных отчётов, сводят данные...кровь, кишки, интерпрайз
Вручную сводят?
источник

d

dreamore in Архитектура ИТ-решений
Пока да, но есть попытки (безуспешные) сводить через vba макросы
источник

GK

Gennadiy Kruglov in Архитектура ИТ-решений
dreamore
Пока да, но есть попытки (безуспешные) сводить через vba макросы
Ок, а как планируете? Допустим, вы застримили данные в Kafka, дальше что? Kafka вам отчёты не построит.
источник

d

dreamore in Архитектура ИТ-решений
Примерно так. Пока вырисовывается такая картина.
Из исходной базы забирать logminerом. Конвертировать, сводить и через kafka выгружать в отдельную бд. К этой бд микросервис, который будет из данных по шаблонам делать word/excel/pdf. Текущие написаны на JasperReports, под него есть люди и экспертиза. В текущем состоянии конкретный генератор отчётов не узкое звено.
источник

d

dreamore in Архитектура ИТ-решений
Ещё я узнаю о наличии лицензии на OGG
источник

ES

Eugene Savin in Архитектура ИТ-решений
А как часто нужно генерировать эти отчеты?
источник

d

dreamore in Архитектура ИТ-решений
Два потока. Отчёты за небольшой период часто. Отчёты за кварталы, год по ПР до трёх лет редко.
источник

ES

Eugene Savin in Архитектура ИТ-решений
часто - это раз в  минуту (или чаще), раз в час, раз в день?
источник