Size: a a a

2020 December 18

IK

Ivan Kizimenko in Airflow
Гиперсегментация хоть где то пригодится
источник

O

Olegа in Airflow
А можно ли динамически задавать данные для подключения ssh connection?
У меня просто каждый раз разные хосты, и я не знаю заранее какие, а использовать хочется один и тот же conn_id.
источник

DN

Dmitriy Novikov in Airflow
Olegа
А можно ли динамически задавать данные для подключения ssh connection?
У меня просто каждый раз разные хосты, и я не знаю заранее какие, а использовать хочется один и тот же conn_id.
Какой странный источник
источник

SG

Sergey Gavrilov in Airflow
Olegа
А можно ли динамически задавать данные для подключения ssh connection?
У меня просто каждый раз разные хосты, и я не знаю заранее какие, а использовать хочется один и тот же conn_id.
Ну вообще ничего не мешает, это же обычная моделька в алхимии
источник

ME

Max Efremov in Airflow
Эх, образа с 3.9 так и не появилось(
источник

SG

Sergey Gavrilov in Airflow
Max Efremov
Эх, образа с 3.9 так и не появилось(
Блин, оказывается он уже релизнулся -_-
источник

ME

Max Efremov in Airflow
Вчера же новость тут была)
источник

IK

Ivan Kizimenko in Airflow
в чем прелесть 3.9 ?
источник

SG

Sergey Gavrilov in Airflow
Max Efremov
Вчера же новость тут была)
А разве новость была не про аерфлоу 2.0..? Всё проспал, короче
источник

ME

Max Efremov in Airflow
Sergey Gavrilov
А разве новость была не про аерфлоу 2.0..? Всё проспал, короче
а, не так прочитал значит)
источник

ME

Max Efremov in Airflow
Ivan Kizimenko
в чем прелесть 3.9 ?
В http.HTTPStatus появился код 418 IM_A_TEAPOT. А вообще чуть больше удобностей из коробки
источник

AM

Andrey Mayorov in Airflow
Всем привет.

Кто нибудь может объяснить, почему в значении Last run для дагов дата указывается с отставанием? Условно запуск был сегодня, а Last run стоит предыдущий день.
источник

A

Andrey in Airflow
это execution_date, вчерашний день, вычисляется исходя из shedule_interval, если будет стоять '@hourly', то  дата будет - час назад
источник

AM

Andrey Mayorov in Airflow
да походу дошло, что там пишется якобы время за которое посчитаны данные, например партиция за вчерашний день
источник

EG

Eugene Girtcius in Airflow
подскажите, кто уже поковырял task flow
как  будут прописываться зависимости в графе?

http://airflow.apache.org/docs/apache-airflow/stable/tutorial_taskflow_api.html#main-flow-of-the-dag
в туториале показан пример вида a » b » c
а в основном-то будет что-то вроде [a, b, c] » d
причем, в том же графе параллельно этому куску могут еще другие крутиться

или я просто не вижу, где об этом написано)
источник

IK

Ivan Kizimenko in Airflow
так все также и прописывается, просто если у тебя есть входные данные от другого таска то ты можешь  обявляя таск в аргументы закинуть другой таск и это создаст связь a>>b
источник

IK

Ivan Kizimenko in Airflow
наврал, не создаст если у тебя обьявлена последовтальность задач
источник

IK

Ivan Kizimenko in Airflow
get_email = get_email()
upload_to_ch = upload_to_ch(get_email)
….
last_date>>branch_op>>get_email>>upload_to_ch>>bash_task>>notify_telegram
источник

EG

Eugene Girtcius in Airflow
Ivan Kizimenko
get_email = get_email()
upload_to_ch = upload_to_ch(get_email)
….
last_date>>branch_op>>get_email>>upload_to_ch>>bash_task>>notify_telegram
если так и будет, то хорошо, спасибо
меня смутило, что последней цепочки в примере вообще не было прописано
источник

ME

Max Efremov in Airflow
Ivan Kizimenko
get_email = get_email()
upload_to_ch = upload_to_ch(get_email)
….
last_date>>branch_op>>get_email>>upload_to_ch>>bash_task>>notify_telegram
а норм, что локальная переменная и имя функции одинаковые? Оно может ругаться от такого
источник