MM
как будто по семантике это даги
Size: a a a
2021 May 12
MM
хочется иметь возможность отключать включать экспорт из определённых таблиц(навскидку)
ME
не хочется 20 однотипных дагов делать... Сейчас есть похожие для загрузки с s3 в базу табличек, 20 дагов глаза мозолят в списке, хочу в один свести мб потом
ME
хм, это да. Или бэкфилинг одной таблицы, а не сразу всех...
ME
Спасибо, валидный кейс, надо будет с командой подумать, как лучше сделать
GB
Если хочется один, то имеет смысл первым сделать какой-нибудь branchpythonoperator, в нём проводить проверку того, были ли уже экспортнуты данные для таблички (даги же должны быть идемпотентными, чтобы даже если метабаза исчезнет, данные не прогружались опять).
Лучше, наверное, всё же генерить отдельные даги на таблицы. В них тогда вместо branchpythonoperator-а будет shortcircuitoperator
Лучше, наверное, всё же генерить отдельные даги на таблицы. В них тогда вместо branchpythonoperator-а будет shortcircuitoperator
ME
А во втором аирфлоу никакие папки для дагов не завезли, они так одним списком?)
GB
Не завезли(
Есть только таскгруппы для визуального объединения в Graph View, но толку группировать один таск?)
Есть только таскгруппы для визуального объединения в Graph View, но толку группировать один таск?)
MM
из такого заметил тэги и в ui по ним искать возможность(не совсем то)
ME
ага( было бы круто какую-то иерархию и засунуть все эти даги в одну группу
MM
раньше не видел такого
ME
а то у меня сейчас уже как раз 20 дагов с одним именем и именем таблички в конце)
マサ
Это и в первом было, причем где-то с >1.10.9 нормально работало
VS
есть сабдаги и видел где-то плагин для визуализации сабдагов
ME
в 1.10.13 у меня только фильтрация по имени
VS
оно начинает работать при включенном rbac, просто в первом не каждый его включал, а так да, оно есть и мы пользуемся, там даже можно прикрутить авторизацию на теги и отображение пользователям только нужных
GB
Кстати изменился код SubDagOperator-а, раньше там был параметр executor, дефолтный – SequentialExecutor, а мне даже в их слаке мэйнтейнер говорил, что лучше не использовать его с Celery (такая была штука https://issues.apache.org/jira/browse/AIRFLOW-74)
Видать теперь безопасно)
Видать теперь безопасно)
2021 May 13
ДН
Можно что-то попробовать вычислить в execurion_date_fn, но по-идее нужно точно понимать интервал между дагами
SC
Подскажите, что не так...
Я хочу сделать pythonoperator.. который при выполнении будет запускать другой даг
Я хочу сделать pythonoperator.. который при выполнении будет запускать другой даг