Size: a a a

2020 July 09

GG

George Gaál in Airflow
С доставкой дагов файлами ты можешь точно так же "попасть"
источник

ME

Max Efremov in Airflow
Да, ломается( Встаёт и дальше не идёт, пока не почистить
источник

AM

Aлексей Mатюхин... in Airflow
George Gaál
С доставкой дагов файлами ты можешь точно так же "попасть"
Если подкладывать файлы, эирфлоу их сам через 5 минут подхватывает, я имею ввиду новые даги.
источник

GG

George Gaál in Airflow
Ну, или представь, что вредитель сервер ребутнул (аварийная ситуация) - ты ее как обрабатывешь ?
источник

GG

George Gaál in Airflow
Ставлю на то, что "никак"
источник

AM

Aлексей Mатюхин... in Airflow
George Gaál
Ставлю на то, что "никак"
в точку
источник

GG

George Gaál in Airflow
Aлексей Mатюхин
Если подкладывать файлы, эирфлоу их сам через 5 минут подхватывает, я имею ввиду новые даги.
У тебя либо один процесс доставки эйрфлоу со всем (requirements.txt + dag + окружение)
источник

GG

George Gaál in Airflow
Либо два процесса (обновление окружения + обновление самих дагов)
источник

GG

George Gaál in Airflow
Раз так, то вообще можно остановиться на доставке докерами ...
источник

GG

George Gaál in Airflow
И ещё. Я читал, что вроде как эйрфлоу научился даги в базе шарить. @fall_out_bug правда ?
источник

AM

Aлексей Mатюхин... in Airflow
George Gaál
Раз так, то вообще можно остановиться на доставке докерами ...
Хорошо, вот запихну я даги в образы, их как минимум 3 - воркер, шедулер, вэб. А как их потом в единой точке смонтировать?
источник

GG

George Gaál in Airflow
Aлексей Mатюхин
Хорошо, вот запихну я даги в образы, их как минимум 3 - воркер, шедулер, вэб. А как их потом в единой точке смонтировать?
Не нужно монтировать.
источник

GG

George Gaál in Airflow
Монтировать нужно только тогда, когда у тебя процесс типа два - отдельная доставка кода эйрфлоу и дагов
источник

AM

Aлексей Mатюхин... in Airflow
Т.е. Шедулер, воркер, вэб, не должны в одну папку смотреть?
источник

AM

Aлексей Mатюхин... in Airflow
Я читал,что вроде как должны. Или они исключительно через базу общаются?
источник

GG

George Gaál in Airflow
Aлексей Mатюхин
Т.е. Шедулер, воркер, вэб, не должны в одну папку смотреть?
Могут в разные, но с одинаковым контентом. Это автоматически выполняется, если образ исходный один
источник

GG

George Gaál in Airflow
О, нашел
источник

GG

George Gaál in Airflow
источник

GG

George Gaál in Airflow
Вот что может помочь, фичу завезли совсем недавно
источник

АЖ

Андрей Жуков... in Airflow
ну там все равно у шедулера нужны файлики
источник