Телеграмм чат группы ruairflow страница 1463

Выполнять в идеале с периодичностью хотя бы в день
Если это сложная задача - можно было бы разбить на два дага с разными интервалами (день\месяц) для разных таблиц (оперативные данные раз в день, справочники раз в месяц)

источник

17:25пожаловаться #6

Panchenko Andrey in Airflow

Как оркестратор согласен. Как инструмент нет.

источник

17:25пожаловаться #7

Panchenko Andrey in Airflow

Это вы с прода дампите в аналитическую базу?

источник

17:27пожаловаться #8

Panchenko Andrey in Airflow

Почему постгря?

источник

17:27пожаловаться #9

Panchenko Andrey in Airflow

Могли бы сделать реплику на том же мускуле включить бинлог и у вас было бы ап ту дэйт

источник

17:27пожаловаться #10

Dmitry V. in Airflow

Грубо говоря - да, база MySQL используется СервисДеском
Постгрес - исторически сложилось, там уже хранятся данные из других источников

источник

17:29пожаловаться #11

Dmitry V. in Airflow

Возвращаюсь с новостями
Действительно, библиотека Pandas решила задачу (read_sql + to_sql).
Спасибо всем неравнодушным! 🙇🏼‍♂️

источник

19:49пожаловаться #12

Panchenko Andrey in Airflow

Это пока у вас так мало данных в табличках. А что будете делать когда у вас будут под сотню таблиц и гигабайты в каждой?

источник

20:03пожаловаться #13

Dmitry V. in Airflow

Согласен, потребуется что-то более производительное
Если есть предложения, выслушаю 😁
Про реплику бд и бинлог увидел, но мне не знакома такая схема работы

источник

20:07пожаловаться #14

Panchenko Andrey in Airflow

Так я ссылку скинул

источник

20:08пожаловаться #15

Max Efremov in Airflow

Дамп в csv и загрузка из csv?)

источник

20:24пожаловаться #16

Max Efremov in Airflow

А так, мб какой-то стриминг прикрутить новых записей