K
Как вы сохраняете туда что либо? Явно или вчерез хкомы или у вас какая-то обертка ?
Size: a a a
2021 March 25
IL
Кладёшь в с3, получаешь ключ, кладёшь в xcom
ME
Ребята, а вы делали что то вроде volume per dag или как то еще, чтобы передавать стейт между тасками
стейт через xcom
GB
Как вы сохраняете туда что либо? Явно или вчерез хкомы или у вас какая-то обертка ?
Ну всё питоноператорами сделано. У нас своя система сущностей, и нейминг для бакетов/ключей.
Храним объекты в hive-формате:
s3://my-bucket/year=2021/month=03/day=25/my-file.csv
Храним объекты в hive-формате:
s3://my-bucket/year=2021/month=03/day=25/my-file.csv
2021 March 26
SC
Всем привет!
Немного не понял почему, но у меня даг не смог запустится.
1. Запуск дага я делаю с другого сервера(win) через curl
2. В параметрах расписания нет
3. Первый запуск сделали по мск времени в 1 ночи, соответственно для af сервера это было "вчера" в 22:с копейками
4. startdate = 2020,1,1
Вопрос, почему у меня выполнился даг который был запущен в 4 утра по мск (в аф было время - 1 час ночи)
Немного не понял почему, но у меня даг не смог запустится.
1. Запуск дага я делаю с другого сервера(win) через curl
2. В параметрах расписания нет
3. Первый запуск сделали по мск времени в 1 ночи, соответственно для af сервера это было "вчера" в 22:с копейками
4. startdate = 2020,1,1
Вопрос, почему у меня выполнился даг который был запущен в 4 утра по мск (в аф было время - 1 час ночи)
SC
В самих тасках ограничений нет, там PythonOperator
Task = PythonOperator(task_id=task_id, python_callable=qs_run_task, op_kwargs=kwargs, dag=dag)
Task = PythonOperator(task_id=task_id, python_callable=qs_run_task, op_kwargs=kwargs, dag=dag)
SC
NB
Доброй пятницы. Такой вопрос: кто-то реализовывал в 2.0 scheduler health check? Как я понял теперь у веб сервера есть /health endpoint который отдает инфу по статусу скедулера и базы данных. Мне кажется это каким-то странным решением узнавать цел ли сервис через другей сервис. До этого можно было спокойно даунскейлить вебсервер и Airflow продолжал себе бежать. Может я чего-то не понимаю?
2021 March 27
ee
у кого нить бывало такое что airflow не читает конфиг, вместо читает какой то базовый
ee
у меня wsl
ee
а разве AIRFLOW_CONFIG не достаточно
SC
Шедулер же за даги отвечает, нет?
SC
Мне если нужно моментально новый Даг увидеть, я рестартую шедулер и все
ME
Мне если нужно моментально новый Даг увидеть, я рестартую шедулер и все
Можно интервал рескана уменьшить
A
Подскажите, сталкивался ли кто с такой проблемой.
Имеется airflow 1.10.10
В таске использую loguru как логер
но оне логи не отображаются в web панели airflow.
Имеется airflow 1.10.10
В таске использую loguru как логер
logger.add(sys.stdout, level='INFO', backtrace=False, diagnose=True,
format='[{time:YYYY-MM-DD HH:mm:ss:ms}] | [{file: ^16}:{line: >3}] {level: <7} - {message}')но оне логи не отображаются в web панели airflow.