Телеграмм чат группы ruairflow страница 1022

спасибо, попробую сначала logrotate настроить, вроде просто и понятно

How do we reason about the reliability of our data pipeline in Wrike

18:05пожаловаться #1

Yukari I in Airflow

Сюткин

Привет! Сегодня в 19:00 по Москве @eliseealex делает доклад на Airflow Summit про надёжность данных и опыт внедрения эирфлоу в Райке. Основная секция вопросов будет в Слаке Эирфлоу на английском, но готов буду поотвечать на вопросы в этом чате на русском. Так что меншените меня или можете писать в личку, могу поделиться опытом.

Тема доклада:
https://airflowsummit.org/sessions/reliability-data-pipeline-wrike/

Посмотреть можно здесь:
https://airflowsummit.org/live/

Airflow Summit 2020

In this talk we will share some of the lessons we have learned after using Airflow for a couple of years and growing from 2 users to 8 teams.
We will cover:
Establishing a reliable review process on AirFlow Managing multiple Airflow configurations Data versioning

Спасибо. Трансляция уже началась. А будет ли запись?

19:04пожаловаться #2

Dmitriy Nikolaev in Airflow

Да, запись будет доступна там же

19:15пожаловаться #3

Yukari I in Airflow

Dmitriy Nikolaev

Да, запись будет доступна там же

Спасибо!

19:16пожаловаться #4

А кто-то сталкивался с тем, что webserver продолжает показывать ошибку в даге, хотя я уже раз 10 поменял все файл и ошибок там точно нет? Рестарт сервера проблему тоже не решил :(

 Broken DAG: [/usr/local/airflow/dags/test.py] unexpected EOF while parsing (functions.py, line 123)

20:09пожаловаться #5

airflow list_dags чо говорит?

20:10пожаловаться #6

всё хорошо, показывает список

20:10пожаловаться #7

точнее даже python /usr/local/airflow/dags/test.py

20:10пожаловаться #8

тоже, это всё проверил с самого начала

20:11пожаловаться #9

ну и покажите functions.py

Aлексей Mатюхин... in Airflow

20:11пожаловаться #10

Max Efremov

 Broken DAG: [/usr/local/airflow/dags/test.py] unexpected EOF while parsing (functions.py, line 123)

Я с таким сталкивался. Это потому, что переменные среды и настройки на вэб и шедулере не совпадают

20:11пожаловаться #11

Mikhail

ну и покажите functions.py

там давно этих строк нет, на который указывает ошибка, я предполагаю, это какой-то кэш

20:11пожаловаться #12

Aлексей Mатюхин

Я с таким сталкивался. Это потому, что переменные среды и настройки на вэб и шедулере не совпадают

они в одном контейнере

20:12пожаловаться #13

а сам даг есть в списке?

20:12пожаловаться #14

в вебе

20:12пожаловаться #15

да, и даже работает

20:12пожаловаться #16

типа ошибка висит в интерфейсе красная наверху?

20:12пожаловаться #17

ага

20:12пожаловаться #18

20:13пожаловаться #19

в этой таблице есть чо?