А
Size: a a a
2020 October 05
АБ
Кто-нибудь сталкивался с таким, что даги стартуют, выполняют максимум 1 дамми-оператор и замирают? При этом до этого даги работали прекрасно 2 месяца. Никаких в правок в код не вносилось. Но вдруг что-то случилось и не помогает даже resetdb.
SG
Пересоздайте даг
SG
И он вообще-то выполняется справа налево
M
Кто-нибудь сталкивался с таким, что даги стартуют, выполняют максимум 1 дамми-оператор и замирают? При этом до этого даги работали прекрасно 2 месяца. Никаких в правок в код не вносилось. Но вдруг что-то случилось и не помогает даже resetdb.
Это новые таски? У них depends_on_past стоит True?
АБ
да, стоит True. И всё это время стоял.
АБ
Пересоздайте даг
пробовал. Не помогает. Потом сделал resetdb и перезалил всё, но поведение такое же.
АБ
Это новые таски? У них depends_on_past стоит True?
Нет, таски те же самые, что стояли 2 месяца до этого.
SG
А вы его как запускаете?
АБ
кладу даг в директорию на инстансе, потом в веб-интерфейсе выставляю toggle ON для дага.
АБ
даже никакого эксепшена нету. Просто вдруг все даги перестали работать.
AK
Коллеги, добрый день. Спроектировал
pipline, возникает такой вопрос про executor, для проекта можно ставить только один executor? Просто мне нужно местами использовать ассинхронную загрузку, а местами последовательную логику.AK
то есть местами
CeleryExecutor, а местами LocalExecutor, к примеруAA
Коллеги, добрый день. Спроектировал
pipline, возникает такой вопрос про executor, для проекта можно ставить только один executor? Просто мне нужно местами использовать ассинхронную загрузку, а местами последовательную логику.Вроде для пулов можно указать экзекьютор, но сам так не делал)
AA
Сходу нагуглить не получилось
ДН
Коллеги, добрый день. Спроектировал
pipline, возникает такой вопрос про executor, для проекта можно ставить только один executor? Просто мне нужно местами использовать ассинхронную загрузку, а местами последовательную логику.Расставьте зависимости просто где они вам нужны и юзайте celery
ДН
даже никакого эксепшена нету. Просто вдруг все даги перестали работать.
Шедулер живой?
MR
Вроде для пулов можно указать экзекьютор, но сам так не делал)
Нельзя, пулы != queue
AA
Вроде для пулов можно указать экзекьютор, но сам так не делал)
Вот и ответ, с помощью queue можно
https://airflow.apache.org/docs/stable/concepts.html#queues
видимо, я их попутал
https://airflow.apache.org/docs/stable/concepts.html#queues
видимо, я их попутал
С
о! все с курсов DE :D