BB
Size: a a a
2020 June 23
BB
а у меня отрубается, когда питон оператор долго работает. В UI пишет, что шедулер не отвечает. Это нормальное поведение?
Не замечал такого.
VS
На днях столкнулся с тем , что шедулер просто перестает работать . На ui отображается , как последний хертбит был получен N времени назад . Версия 1.10.10. покопался , нашел свежую тему https://github.com/apache/airflow/issues/7935 . Пишут что нужно запускать с параметром -n .
я бы не стал этого делать
VS
есть подозрение, что это касяк работы в кубике
BB
я бы не стал этого делать
ну , а насчет выхода - предположение правильное?
VS
у нас в проде нормально работает
VS
без кубика на виртуалке
VS
шедулер в потолке - это на самом деле может быть 100500 причин, включая кривой даг
VS
я бы ставил либо на кривой даг, либо на проблему совместимости версий либ, хотя вроде в 10.10 пофиксили либы, которые аффектили шедулер, там остались проблемы только для вебсервера 🤔
VS
Когда разрабы начнут фиксировать версии жестко, а не от текущей до бесконечности
ME
У аирфлоу как-то странно с версионированием, в 1.10.9 опции none_failed_or_skipped нет, появилась в 1.10.10... Хотя по идее минорные версии для фикса багов же...
AS
Здравствуйте, я не знаю эйрфлоу/luigi/prefect и спрошу, правильно ли я зашел. Есть такая задача - постоянно перегонять dbf-файлы (да, они существуют!), собирающиеся в некой директории.
Есть скрипт на Python, достаточно большой (предполагается, что на каждый dbf есть логика-transform), который забирает и гонит в postgres данные. К сожалению, скрипт периодически падает, или данные не доходят. Но контролируется это плохо. Предполается масштабирование в будущем, возможно другие форматы данных.
Хочется веб-морду с каким-то контролем, чтобы не писать его руками. Оповещения, может...
Поможет ли airflow или надо сесть и все-таки аккуратно мониторить скрипт?
Есть скрипт на Python, достаточно большой (предполагается, что на каждый dbf есть логика-transform), который забирает и гонит в postgres данные. К сожалению, скрипт периодически падает, или данные не доходят. Но контролируется это плохо. Предполается масштабирование в будущем, возможно другие форматы данных.
Хочется веб-морду с каким-то контролем, чтобы не писать его руками. Оповещения, может...
Поможет ли airflow или надо сесть и все-таки аккуратно мониторить скрипт?
GG
Здравствуйте, я не знаю эйрфлоу/luigi/prefect и спрошу, правильно ли я зашел. Есть такая задача - постоянно перегонять dbf-файлы (да, они существуют!), собирающиеся в некой директории.
Есть скрипт на Python, достаточно большой (предполагается, что на каждый dbf есть логика-transform), который забирает и гонит в postgres данные. К сожалению, скрипт периодически падает, или данные не доходят. Но контролируется это плохо. Предполается масштабирование в будущем, возможно другие форматы данных.
Хочется веб-морду с каким-то контролем, чтобы не писать его руками. Оповещения, может...
Поможет ли airflow или надо сесть и все-таки аккуратно мониторить скрипт?
Есть скрипт на Python, достаточно большой (предполагается, что на каждый dbf есть логика-transform), который забирает и гонит в postgres данные. К сожалению, скрипт периодически падает, или данные не доходят. Но контролируется это плохо. Предполается масштабирование в будущем, возможно другие форматы данных.
Хочется веб-морду с каким-то контролем, чтобы не писать его руками. Оповещения, может...
Поможет ли airflow или надо сесть и все-таки аккуратно мониторить скрипт?
помимо скрипта что-то еще планируется?
GG
ну, там 10-к других скриптов, причем в виде дерева взаимосвязей
GG
как часто надо перезапускать ? как часто поступают новые данные?
CO
Здравствуйте, я не знаю эйрфлоу/luigi/prefect и спрошу, правильно ли я зашел. Есть такая задача - постоянно перегонять dbf-файлы (да, они существуют!), собирающиеся в некой директории.
Есть скрипт на Python, достаточно большой (предполагается, что на каждый dbf есть логика-transform), который забирает и гонит в postgres данные. К сожалению, скрипт периодически падает, или данные не доходят. Но контролируется это плохо. Предполается масштабирование в будущем, возможно другие форматы данных.
Хочется веб-морду с каким-то контролем, чтобы не писать его руками. Оповещения, может...
Поможет ли airflow или надо сесть и все-таки аккуратно мониторить скрипт?
Есть скрипт на Python, достаточно большой (предполагается, что на каждый dbf есть логика-transform), который забирает и гонит в postgres данные. К сожалению, скрипт периодически падает, или данные не доходят. Но контролируется это плохо. Предполается масштабирование в будущем, возможно другие форматы данных.
Хочется веб-морду с каким-то контролем, чтобы не писать его руками. Оповещения, может...
Поможет ли airflow или надо сесть и все-таки аккуратно мониторить скрипт?
Частично поможет, разобьете каждый файл на задачи и может будет немного легче.
Но лучше полностью поменять концепт
Но лучше полностью поменять концепт
GG
вы обрабатываете пачку всю разом? или каждый инстанс скрипта свой файл? в параллель?
GG
вот ответьте на все эти вопросы - они помогут решить ЧТО ДЕЛАТЬ дальше
AS
параллели нет, последовательно обрабатываются файлы, в скрипте бьются на батчи. Батчами insert/update в базе.
10к скриптов вряд ли, но дополнительные данные в виде json/xml/csv в эту базу возможно будут заходить
10к скриптов вряд ли, но дополнительные данные в виде json/xml/csv в эту базу возможно будут заходить