по-моему нужна кафка с дебезиумом
Если не ошибаюсь, спарк сам по себе не может стримом смотреть на табличку.
Там как получается: дебезиум - это сервис, который условно следит за таблицей и все изменения отправляет в кафку. А уже из кафки может читать спарк.

Спасибо

Как в кастоном операторе получить dag.conf? Даг тригерится через апишку, но в кастоном операторе я не вижу никаких конфигов.
При этом, если заюзать PythonOperator то в колбеке могу вытащить конф

Функция без параметров, отдаёт словарь:

from airflow.operators.python import get_current_context

Там уже conf есть.

Есть тяжелый даг из последовательных тасок. Иногда прилетает большой батч, и одна из тасок выполняется около часа. В случайный момент времени эирфло выкидывает таск на ретрай как зомби. Т.е. иногда помечает как зомби, иногда нет. Куда нужно копнуть?

{AirflowException}Current context was requested but no context was found! Are you running within an airflow task?

В доке указано что это работает для тасок, и в пре и пост екзекьютах не доступен. Дебажу BaseOperator.render_template (у меня задача прокинуть пайлод в рендер штмл теплейта) и вот в нем есть conf, в принципе могу не много усложнить html темплейт для доставания конфа, но это такое себе решение.

В render_template есть вот такая штука, в принципе если каким-то образом объекты confa прокинуть вверх, то должно все заработать

return jinja_env.get_template(content).render(**context)

Переопределил метод render_template, не уверен что это красивое решение, но рабочее

omg. а как понять ошибку которая не в даг-файле ???

И вообще, как то можно запустить даг в дебаг режиме ? чтобы построчно прогнать его и отследить ? у меня pythonoperator все таски ...

airflow dags test your_dag_id 2021-04-13

Спасибо, так тоже полезно )

Привет!

Есть вопрос по-поводу папки с DAG-ами. Airflow хочет, чтобы я складывал Python-файлики в централизованную папочку dags. Но мне этт подход не нравится. Например, у меня 10 проектов, каждый из них в разных репозиториях. Я бы хотел в каждом из держать по DAG-у так как DAG — это часть проекта, поддомена, знаний. Можно в DAG-е переиспользовать код. Мне кажется, подход складывать все в одну папку в одной репе специально для Airflow — не очень вариант.

Что по этому поводу скажете, я не нашел Airflow интеграции с тем же GitHub, чего и не планировалось в проекте, наверное, так как это не Jenkins какой-то?

Airflow сканирует конкретную папочку. Кажется врядли можно её вот так вот раскидать.

а как запускается? если в докере, то можно копировать из разных мест перед деплоем, например

Да, этот вариант подходит. Нужно будет написать скрипт тогда. Но, я думаю, какой-то бы плагин, которому даешь ключик от GitHub и конфиг с путями — было бы неплохо.

Раз такого нет, можно, в принципе, написать за небольшое количество времени. Что думаете насчет такой идеи, было бы полезно сообществу или нет?

https://github.blog/2016-02-01-working-with-submodules/

Сам хочу перевести на такое наш деплой дагов, но везде слышу только стоны о том, как сабмодули плохо, так что не настаиваю на полезности совета)

Такая идея тоже была. Хорошо, спасибо за ссылку.

ребят. порекомендуйте какойнить нетяжелый бесплатный MDM софт. (бизнес-глосарий, метакаталог)

Excel ?)

 Ну если честно - сам ищу )