DN
сейчас я вижу у себя такое решение прод бд -> airflow -> dwh (тоже КХ) -> MV -> шардирование в чистовой КХ -> Tableau
если прям реалтайм то airflow мне кажется не лучший вариант... но тут могу ошибаться, не силен в инструменте
Size: a a a
2021 March 17
ЕК
ну так тригер на инсерт, я правда не уверен что можно, но попробовать если указать в качестве движка удаленную машину... там есть такие движки
потому и спросил) мы пытались такое реализовать и ответ там нет, не получится
DN
потому и спросил) мы пытались такое реализовать и ответ там нет, не получится
жаль жаль
ЕК
на текущий момент нужно поднять систему отчетности и там дозволительна задержка в 5-10 минут
yk
Airflow это все таки батчевая загрузка, если нужен рмалтайм то это Кафка конечно
DN
y k
Airflow это все таки батчевая загрузка, если нужен рмалтайм то это Кафка конечно
смотря какая у них нагрузка, может и rabbitMQ хватит
ME
Кафка, спарк, флинк, найфай, стримсеты...
yk
Хотя я знаю случаи когда в кликхауз гоняли данные посредством аэрфлоу
ЕК
я сейчас делаю это через дженкинс и распараллеленный скрипт питона
ЕК
мелкими батчами все хорошо относительно работает, пока хочется перевести все эти процессы на airflow пототму что я задолбался пилить кусками скрипты, а потом еще следить чтобы они не конфликтовали по ресурсам =)
yk
Вот вот мелкие батчи vs поток
ЕК
хорошо, если я все таки хочу упороться в батчи на текущий момент, что мне можно глянуть чтобы реализовать инкрементальную загрузку?
DN
тут кто то рекоманедваол мелкую приблуду для диванного реалтайма но вот хз увидит ли он моё сообщение
ЕК
Мелкая приблуда меня уже не спасёт) 11 млн событий сутки в одном проекте, 300к событий в минуту в другом :) мне тут нужна туррель)
2021 March 18
DN
Мелкая приблуда меня уже не спасёт) 11 млн событий сутки в одном проекте, 300к событий в минуту в другом :) мне тут нужна туррель)
11 млн событий это немного совсем, 300к в минуту уже серьезней, смотрите в сторону брокеров, airflow из этой цепочки лучше выпилить
AP
Коллеги, гуглю и не могу найти как правильно обновлять dag, если airflow в kubernetes. Кто-нибудь может подсказать?
ME
А ему какие-то специальные даги нужны?
AP
кастомные даги
AP
Спасибо. Посмотрю