Телеграмм чат группы ruairflow страница 1020

Size: a a a

Airflow

857 membersпожаловаться на группу

2020 July 14

Сюткин in Airflow

Либо напиши 5 сообщений в чате

Сюткин in Airflow

Сюткин in Airflow

Привет! Сегодня в 19:00 по Москве @eliseealex делает доклад на Airflow Summit про надёжность данных и опыт внедрения эирфлоу в Райке. Основная секция вопросов будет в Слаке Эирфлоу на английском, но готов буду поотвечать на вопросы в этом чате на русском. Так что меншените меня или можете писать в личку, могу поделиться опытом.

Тема доклада:
https://airflowsummit.org/sessions/reliability-data-pipeline-wrike/

Посмотреть можно здесь:
https://airflowsummit.org/live/

Airflow Summit 2020

How do we reason about the reliability of our data pipeline in Wrike

In this talk we will share some of the lessons we have learned after using Airflow for a couple of years and growing from 2 users to 8 teams.
We will cover:
Establishing a reliable review process on AirFlow Managing multiple Airflow configurations Data versioning

источник

13:57пожаловаться #3

Dmitriy Nikolaev in Airflow

🔥👍

источник

13:57пожаловаться #4

Leo in Airflow

кстати ,а где записи посмотреть вообще?

источник

13:58пожаловаться #5

Alexandr Eliseev in Airflow

Leo

кстати ,а где записи посмотреть вообще?

Сейчас там же по ссылке Live можно переключить секцию и посмотреть любой старый доклад.

источник

13:59пожаловаться #6

Leo in Airflow

вижу, спасибо. ( в левом верхнем углу в плеере есть список )

источник

13:59пожаловаться #7

Сюткин in Airflow

Надеюсь там будет не вводный урок

источник

14:00пожаловаться #8

Mikhail Rodin in Airflow

Всем привет! Господа, а как в airflow предельно корректно удалить динамически сгенерированные даги? Т.е. те, у которых нет как такового скрипта в dagbag.

источник

16:22пожаловаться #9

Mikhail Rodin in Airflow

Только с помощью ручной очистки всей меты в бд?

источник

16:23пожаловаться #10

Mikhail Rodin in Airflow

морда не даёт, т.к. считает что сначала нужно удалить файл которого нет. Создавались они примерно таким вот образом: https://bigdata-etl.com/apache-airflow-create-dynamic-dag/

источник

16:24пожаловаться #11

Mikhail in Airflow

Mikhail Rodin

в смысле нет? они же создаются в каком-то файле всё равно

источник

16:27пожаловаться #12

Mikhail in Airflow

вот его и надо удалить

источник

16:27пожаловаться #13

Andrey in Airflow

Там в конфиге нужно строку закомментить, которая берет тестовые даги из либ

источник

16:30пожаловаться #14

Mikhail Rodin in Airflow

хм, кстати сработало. Я предполагал что своим globals()[dag_id] = create_dag(dag_id, schedule, args, conf) он создаёт сущность в БД с которой потом работает веб интерфейс. Прошу прощения)

источник

16:31пожаловаться #15

ЕГ

Евгений Глотов... in Airflow

Не, сам файл, из которого развёртывание дага запускается, ассоциируется с id дага

источник

16:33пожаловаться #16

Andrey in Airflow

Для тех кто будет искать в истории:

# Whether to load the DAG examples that ship with Airflow. It's good to
# get started, but you probably want to set this to False in a production
# environment
load_examples = True

источник

16:37пожаловаться #17

Max Efremov in Airflow

Подскажите, а чтобы с одного контейнера с airflow перейти на Celery, мне надо поднять RabbitMQ и ещё контейнер с celery и вместе их связать?

источник

16:50пожаловаться #18

Andrey in Airflow

+нужна базенка, типо постгреса

источник

16:53пожаловаться #19

Max Efremov in Airflow

Как резалт бекенд?

источник

16:55пожаловаться #20