IK
Но в целом да согласен.
https://airflow.apache.org/docs/apache-airflow/stable/_modules/airflow/models/xcom.html
[docs]MAX_XCOM_SIZE = 49344
Size: a a a
2021 January 27
ME
ME
а не 48 Кб?
IK
Если посгресс то до 1 гига
IK
Но все равно это как то дико, этож все потом висеть в бд будет
ME
Ну да, выглядит как костыль)
ME
Оно же для шаред стейт и обмена сообщенияии
ME
Да и сам airflow не для etl, а для оркестрации
GB
Но все равно это как то дико, этож все потом висеть в бд будет
А что дикого? Стейты тасок там висят же, метадб не священная корова
IK
А что дикого? Стейты тасок там висят же, метадб не священная корова
Ну если по гигу туда закидывать регулярно и хранить это еще без надобности
GB
Ну если по гигу туда закидывать регулярно и хранить это еще без надобности
Ну база будет расти неумолимо в любом случае. Есть довольно известная репка с maintenance dag-ами (с телефона не стану искать, пишу в чатик под столом), у себя мы чистим всё старше месяца
2021 January 28
АМ
Александр
Всем доброго времени суток. Я сейчас начал изучать airflow, можете, плиз, подсказать, как правильно создать dag, который будет забирать данные из одной БД в другую. Сейчас у меня это все прописано в одной функции и соответственно один таск, в котором я подключаюсь к одной БД, сохраняю в pandas и передаю это дело в другую БД. Я бы хотел это реализовать двумя тасками, первый который забирает данные, а второй который сохраняет данные. Но никак не пойму как передать данные из одной функции в другую.
это "проблема" всех начинающих изучать.
не надо огород городить - все в одном таске пусть будет
не надо огород городить - все в одном таске пусть будет
Н
Александр
Всем доброго времени суток. Я сейчас начал изучать airflow, можете, плиз, подсказать, как правильно создать dag, который будет забирать данные из одной БД в другую. Сейчас у меня это все прописано в одной функции и соответственно один таск, в котором я подключаюсь к одной БД, сохраняю в pandas и передаю это дело в другую БД. Я бы хотел это реализовать двумя тасками, первый который забирает данные, а второй который сохраняет данные. Но никак не пойму как передать данные из одной функции в другую.
Александр, у airflow нет dataflow. механизма, выражаясь терминами майкрософт: тут действительно так, в 1 операторе всё делается. Другой вопрос - вы как кладёте данные? сразу в модель хранилища или через буферный слой? для этой группы подобные темы в целом оффтоп - так что лучше пишите в личку
P
Александр
чтобы можно было разделить на шаги, так вроде проще отлавливать исключения, т.е. если какая-то одна из бд не отвечает, то сразу видно по таскам какая
На самом деле, причина декомпозиции etl процессов на несколько тасок другая.
Если у вас первая таска получает данные очень долго, например из какой-ниьудь внешней апишки, и если к тому же, эта апишка имеет лимиты на обращение к ней, то, разбив таску на 2, вы делаете процесс более стабильным. Первая таска получает данные, сохраняет их в надежное и стабильное хранилище (s3, hdfs, ...), а вторая таска читает данные из хранилища. Однако, в таком случае вам надо обеспечить это самое хранилище.
Если у вас первая таска получает данные очень долго, например из какой-ниьудь внешней апишки, и если к тому же, эта апишка имеет лимиты на обращение к ней, то, разбив таску на 2, вы делаете процесс более стабильным. Первая таска получает данные, сохраняет их в надежное и стабильное хранилище (s3, hdfs, ...), а вторая таска читает данные из хранилища. Однако, в таком случае вам надо обеспечить это самое хранилище.
EM
Всем привет! Помогите, пожалуйста, решить проблему . Для изучения инструмента ставим себе airflow 2.0 на ms sql server, в момент инициирования базы (db init) падает ошибка, что в таблице dag уже создана колонка с типом TIMESTAMP, поэтому остальные нужные колонки уже не создаются. Дело в том, что в ms sql действительно допускается только одна колонка с таким типом. Вопрос: можно ли изменить где-то в моделях тип данных для создаваемых колонок?
VS
ставьте на постгрес/мускл/марию
VS
это рекомендация airflow
EM
Рекомендация хорошая, но пока не выбираем субд, боюсь представить, сколько у нас будет согласовываться такое. Есть возможность решить проблему, не переезжая на другие рельсы?
SG
Рекомендация хорошая, но пока не выбираем субд, боюсь представить, сколько у нас будет согласовываться такое. Есть возможность решить проблему, не переезжая на другие рельсы?
Да. Попробуйте форкнуть исходный код Аерфлоу и поменять там тип данных в моделях)
MY
Рекомендация хорошая, но пока не выбираем субд, боюсь представить, сколько у нас будет согласовываться такое. Есть возможность решить проблему, не переезжая на другие рельсы?
О да. Нам чуть ли не полгода согласовывали/выбирали 💁♂