ee
подскажите кто как отображает прогресс работы
к примеру в luigi такая возможность есть
к примеру в luigi такая возможность есть
подскажите кто как отображает прогресс работы
к примеру в luigi такая возможность есть
Size: a a a
2021 March 29
ee
GB
elessar elfstone
Ну прямо в веб-морде он и отображается на graph view)
Прогресс внутри таска нужно делать логированием, прогрессбаров нет
Прогресс внутри таска нужно делать логированием, прогрессбаров нет
ee
прогресс бар штука полезная) в issue ах никто не предлагал случаем)
ФЧ
Ребят, всем привет!
Подскажите пожалуйста, есть ли у кого-то пример, как вызывать какую либо функцию при условии что таска зафейлилась - хочу присылать пуш в слак себе
Подскажите пожалуйста, есть ли у кого-то пример, как вызывать какую либо функцию при условии что таска зафейлилась - хочу присылать пуш в слак себе
ME
и примерно так выглядит функция, ну с тем как отправить сам месседж думаю можно и нагуглить )
у меня там просто requests.post :)
ФЧ
Спасибо
FS
Подскажите пример разветвленя тасок после на основании результата первой таски.
FS
PythonOperator -> [SSHOperators]
GB
Подскажите пример разветвленя тасок после на основании результата первой таски.
GB
В двух словах: работает, как обычный PythonOperator, но возвращать нужно строку – айди следующей таски (либо массив строк)
FS
Спасибо
ФЧ
и примерно так выглядит функция, ну с тем как отправить сам месседж думаю можно и нагуглить )
Да я разобрался, теперь пытаюсь понять как проверить могу. Я немного не понимаю, могу ли я запустить сам dag локально как-то, чтобы проверить тригер on_failure_callback
S
Да я разобрался, теперь пытаюсь понять как проверить могу. Я немного не понимаю, могу ли я запустить сам dag локально как-то, чтобы проверить тригер on_failure_callback
Ну можно банально сделать функцию, внутри неё зарейзить exception,тригернуть даг через ui и посмотреть прилетит ли что-то в слак
Пара моментов:
1. Функции обязательно надо передавать контекст через provide_context=True
2. Контекст в функции отправки не должен распаковываться т.е. failure_func(context) но не failure_func(**context)
Пара моментов:
1. Функции обязательно надо передавать контекст через provide_context=True
2. Контекст в функции отправки не должен распаковываться т.е. failure_func(context) но не failure_func(**context)
ФЧ
Ну можно банально сделать функцию, внутри неё зарейзить exception,тригернуть даг через ui и посмотреть прилетит ли что-то в слак
Пара моментов:
1. Функции обязательно надо передавать контекст через provide_context=True
2. Контекст в функции отправки не должен распаковываться т.е. failure_func(context) но не failure_func(**context)
Пара моментов:
1. Функции обязательно надо передавать контекст через provide_context=True
2. Контекст в функции отправки не должен распаковываться т.е. failure_func(context) но не failure_func(**context)
Функция или PythonOperator ?
ФЧ
Не не догоняю, вот мой оператор