Телеграмм чат группы ruairflow страница 68

Это как камень в руках скульптора)) до полной готовности ещё далеко, но для построения динамических процессов и автоматизации рутины - гуд. С деплойментом тоже беда как и у всех, и тоже рестарт вебсервера помогает

источник

12:16пожаловаться #10

Oleg Ilinsky in Airflow

Раз уж пошло обсуждение проблем) как можно ускорить старт задачи. У нас бывает, что несколько минут проходит после постановки задачи в очередь и переходом ее в статус running. При свободных пулах.

источник

12:25пожаловаться #11

Igor in Airflow

Смотреть в логи экзекьютора 🤷‍♀️

источник

12:26пожаловаться #12

Sergii in Airflow

Мне наверно очень везет, но апйдет проходит без рестартов планировщика или вебсервера. Выкатываемся так, что airflow смотрит на папку в которую налинкованы даги всех приложений, у каждого приложения есть свой линк на latest версию, новый релиз просто обновляет линг на latest и через минутку все свеженькое :)

источник

16:24пожаловаться #13

Sergii in Airflow

Потому что у нас нет дженкинса =\ Когда-нибудь это будет делать он, а пока этим заняты скрипты

источник

16:25пожаловаться #14

2018 July 06

Igor in Airflow

У меня локальный экзекьютор не параллелится похоже. Для одного из дагов весь щедулер ничего не делает, пока даг не завершится. Может ли это быть что у меня явно выставлен parallelism и нет sla на дагах?
Что будет если parallelism=0, кому-нибудь может это помогло в похожей ситуации?

источник

11:53пожаловаться #15

Igor in Airflow

Kate Khrushch

в БД же даты выполнения как раз должны быть в том времени да?

Цитата из wiki https://cwiki.apache.org/confluence/display/AIRFLOW/Common+Pitfalls

Run your entire Airflow infrastructure in UTC. Airflow was developed at Airbnb, where every system runs on UTC (GMT). As a result, various parts of Airflow assume that the system (and database) timezone is UTC (GMT). This includes:

Webserver
Metadata DB
Scheduler
Workers (possibly)

источник

12:15пожаловаться #16

railscard in Airflow

@shrimpsizemoose может для этого дага max_active_runs=1 прописано?

источник

16:44пожаловаться #17

Igor in Airflow

railscard

@shrimpsizemoose может для этого дага max_active_runs=1 прописано?

А это влияет тогда на остальные даги? У меня же другие не запускаются, а не этот

источник

16:57пожаловаться #18

Ton Jet in Airflow

Ребят, а как-то можно сделать так, чтобы время в Airflow писалось не в utc, а с учётом временной зоны? Добавление default_timezone="Europe/Moscow" в airflow.cfg не возымело эффекта

источник

16:57пожаловаться #19

railscard in Airflow

@shrimpsizemoose по логике должно только на этот даг влиять
> Для одного из дагов весь щедулер ничего не делает, пока даг не завершится.
Я просто подумал что только один даг не параллелится)

источник

17:00пожаловаться #20