ну вот у меня с 1.3.15 чот не робiт

справедливо

Та мелочь какая-нибудь... может докер не подтянул образ со старой версией или наоборот подтянул левого че-нибудь. А докер вообще? От чего from?

FROM python:3.7-slim-buster

Ну вот я думал, кто-то уже потанцевал на граблях и знает, что могло пойти не так)

А ёпт, образ пересобирали ж.
У нас python:3.7-slim

А чего не с офф имаджа?

он чота не взлетел

мб актуальный и норм, этот я год в первой итерации собирал

он, кстати, относительно недавно появился (год может назад), когда уже airflow во всю хуячил даги

Я перешёл и пока не жалею)

Допилил его уже

А до этого какая-то древность была с 3.5 питоном

Постоянно всё отваливается из-за отсутствия поддержки этой версии

Кто нибудь использует airflow  версии 1.10.14-15 в kubernetes ? Поделитесь helm чартом

Всем привет! Как сделать retries для DockerOperator? Его состояние всегда success

Привет!

Я тут начал использовать Airflow как движок для проведения исследований: не кровавое энтерпрайз DWH с миллионом дагов, скорее гибкое мини dwh, но с возможностью ставить пайплайны на крон и т.п. Для этого мне нужно было сделать так, чтобы у меня где-то крутился Airflow и я мог в рантайме ему спокойно подкидывать даги и таски для этих дагов. В результате я начал писать небольшой сервис-адаптер, который позволяет это делать по апи и подкладывает это все в airflow через фс (к сожалению, как я понял, сам airflow пока так не умеет).

Есть ли в этом вообще какая-то ценность для сообщества? Я читал про даги для создания дагов, но в итоге для себя решил, что лучше будет вынести это в простой сервис.

Помимо этого, хотелось еще jvm штуки запускать, и перспектива того, что для каждой вершины графа будет подниматься целый процесс, меня тоже как-то не особо радовала и я сделал простой сервис, позволяющий складывать эти таски в пул потоков и написал простой оператор который их вызывает и ждет завершения, типа JavaPooledOperator.

Наверняка не только я с этим столкнулся, возможно есть смысл в какой-то перспективе поделиться этим, либо вы набросаете фичей, реализовав которые, мои поделки обретут смысл. Либо окажется, что я вообще хрень какую-то сделал и уже есть что-то подобное и вообще для построения такой песочницы надо было использовать технологию X, а не Airflow. Буду рад фидбэку)

Закидывай

Мне по работе примерно это и нужно, только проще: я должен сам клепать, но, если можно будет создавать файлик с python командами, и сразу его в даг, и вуаля, команда может ебошить

привет. мне пока хватало возможности закидывать файлы py в папку dags, которую airflow мониторит периодически и подтягивает в dagbag. но посмотреть на решение будет интересно

Нормас, тогда постараюсь опубликовать в ближайшее время (+- неделя наверно, ахах)