можете Рика Скваетти на юдеми пройти, так же есть у него его собственный сайт где так же куча материалов, ну и на ютубе его же роликов так же хватает

Спс. А кто какой курс проходил или все в документацию сразу ?

а можно ссылку на сайт/udemy?

можете Рика Скваетти на юдеми пройти, так же есть у него его собственный сайт где так же куча материалов, ну и на ютубе его же роликов так же хватает

Я этот прохожу сейчас. https://www.udemy.com/course/the-complete-hands-on-course-to-master-apache-airflow/ и https://www.udemy.com/course/the-ultimate-hands-on-course-to-master-apache-airflow/ будет следующим

У мен тоже есть вопрос. Подскажите, пожалуйста, у меня в одном даге есть ExternalTaskSensor на другой, чтобы это сработало, как понимаю, нужно чтобы время запуска у обоих было одинаково (schedule_interval), а можно ли сделать задержку/разрыв во времени, нужно чтобы даг с зависимостями на 2й запускался позднее?

Случаем, не execution_delta ?)

Schedule interval не обязательно должен быть одинаковый. Главное задать execution_delta в сенсоре равный разнице между временем запуска. Например, первый даг запускается в 11 утра, второй в 10 утра. При этом в первом даге есть сенсор на второй даг. В нем execution_delta ставим 60 минут. Первый даг начнет выполняться в 11 утра и если второй даг выполнился, то задержек на сенсоре не будет, если еще не выполнился, то первый даг будет ждать на таске с сенсором, пока выполнится второй.

Благодарю

Привет! Не подскажете в чем может быть дело?
Даг если его триггерить не запускается, если его ставить на расписание шедулером - то все нормально или если бакфил делать

Добрый день! Подскажите можно ли опубликовать вакансию тут?

Попробую аккуратно, если нельзя дайте знать, уберу. Хотел тут, так как большинство вопросов, на которые я не знал ответа по airflow, я узнал тут и как мне кажется, тут наиболее релевантно)

Всем привет!

В поиске ETL разработчика. Поправил описание, постарался максимально подробно все указать, привел пример уровня текущего кода python скриптов для airflow и пример SQL запросов, из которых нужно создавать витрины.

Вилку изменили с 150к - 200к на от 180к+. Верхнюю границу не ставим, зависит от кандидата.

Подробное описание:

https://docs.google.com/document/d/16cibRXY9pQODcxCOdxLSTCRhbHhjrg-4VsPZGy8XtO0/edit?usp=sharing

Вопросы можно задать в личку.

Буду рад обратной связи, так как возможно не все учел в описании.

Подскажите по такому вопросу, запуск дага не произойдет, если его запустить вручную, но первые таски - externalTasks на другой таск, даже если тот отработал уже, так?

Владимир, спасибо за доклад :)

@vladimir_baev, спасибо!)

В даге стоит такой скедулинг

schedule_interval="45 14 * * *",
start_date=days_ago(2),

Наблюдал за ним около недели, за все время запустился сам только 1 раз. В чем может быть причина?
Другие даги запускаются как пологается, по расписанию.

upd: даг запускается, нашел по логам его работу и проверил результат его работы - все ок. Проблема только в том что не отображается корректная инфа на UI

Подозреваю что это может быть связанно с тем что я сделал delete DAG через фронт. Как это можно чекнуть или пофиксить (без смены айди дага =)?

А как в объявлении оператора получить execution date? Я хочу как один из параметров его подать, макросы не оч подходят

А что значить в объявлении? Свой кастомный оператор или что?