Спасибо, помогло) Как же хорошо без этого предупреждения сейчас)

есть. Если ты импортируешь как my_plugin.operators.my_namespace.MyOperator и у тебя даг состоит только из тасок этого оператора, то airflow не воспримет этот даг

о как, спасибо
пойду проверять

тогда попутно такой вопрос:
как правильно описать entry_points в сетапе для плагина, если
class MyAirflowPlugin(AirflowPlugin):
 name = 'my_namespace'
 operators = [MyOperator]
 hooks = [MyHook]
описываю в __init__.py самого плагина

https://airflow.apache.org/docs/stable/plugins.html#plugins-as-python-packages
тут все лежит в my_plugin.py

как-то так чтоли надо?
entry_points = {
       'airflow.plugins': [
           'my_plugin = my_package.init:MyAirflowPlugin'
       ]
   }

попробовал так, не работает
entry_points = {
       'airflow.plugins': [
           'my_plugin = my_package:MyAirflowPlugin'
       ]
   }

тут не подскажу, пока не делаем для них setup.

Коллеги, добрый вечер!
В процессе так же построения пайплайна.

Я сделал такую штуку в даге

    check_files >> [pivot_gender_trip, pivot_average_duration, pivot_number_trips] >> send_statistics_task

Но как я понимаю, запускаться send_statistics_task будет после каждой функции в списке.

Как мне сделать так, чтобы запустился send_statistics_task после завершения всех методов в списке?

нет, он после всех запустится

Хмм, просто в графике показано так, как будто после каждого будет запускаться, вот сомнения появились на этот счет

Там это поведение можно менять, но по дефолту он все будет ждать

в tree там как раз оно 3 раза пропишется)))

Хмм, понял - принял

а вот в графе будет видно, что 1 штучка

ща будем тестить

Да, кстати

Макс, спасибо, ща буду проверять эту штуку)

Можно просто сделать дамми операторы и на них протестить логику дага

если не хочется реальные действия пускать

каким образом это делается?