Size: a a a

2021 May 18

ME

Max Efremov in Airflow
А у меня есть даг раз день, а в конце месяца надо нужные дни снова пустить, я вторым дагом это делаю
источник

ФЧ

Филипп Чистяков... in Airflow
Я в итоге сделал, что внутри Дага при условиях выставляется статус skiped. А другой Даг с некой переодинчностью делает clear статуса, в первом Даге. Что и перезапускаешь с той же датой
источник

ME

Max Efremov in Airflow
Сейчас пускаю в {year}-{month}-1 0:0:1, но это сбивает логику дня до и после
источник

ME

Max Efremov in Airflow
хм, а на чистку есть какой-то оператор?
источник

ФЧ

Филипп Чистяков... in Airflow
Да. Есть оператор) если напомнишь завтра скину.

Но мб есть смысл переложить логику в отдельный файл, а вызывать его за определенный период из 2х разных?
источник

ME

Max Efremov in Airflow
Сейчас поищу тогда, спасибо. Там полноценный даг, много операций в цепочке, часть может зафейлиться и т.д. И это именно перезапуск старых дагов по бизнес кейсу, так что делаю также и в аирфлоу
источник

ФЧ

Филипп Чистяков... in Airflow
Вот кусок кода
источник

ME

Max Efremov in Airflow
Оу, хитро)
источник
2021 May 19

AM

Aлексей Mатюхин... in Airflow
Коллеги, добрый день. Скажите, пожалуйста, возможно ли сделать так, чтобы view log страница обновлялась автоматически, без нажатия кнопки Refresh?
источник

KG

Konstantin Gopa in Airflow
👋 Подскажие пож, куда копать. Есть даг, выполняется schedule_interval='1 * * * *'. И случаются какие-то странные пропуски, например выполнение дага в 23 часа по UTC (см скрин). т.е. даг запускается в 21.01, в 22.01, а следующий уже почему-то в 00.23.
источник

KG

Konstantin Gopa in Airflow
Version : 1.10.9, развернута в докере
источник

KG

Konstantin Gopa in Airflow
и еще одна странная штука с тем же дагом: даг запускается по плану, но один из тасков почему то улетает на следующий час
источник

KG

Konstantin Gopa in Airflow
там есть самописный сенсор на почту для exchangelib
источник

GB

Georgy Borodin in Airflow
max_active_runs у дага какой?
Похоже, что последний таск предыдущего даграна задерживает
источник

KG

Konstantin Gopa in Airflow
по умолчанию
источник

KG

Konstantin Gopa in Airflow
ок, спасибо, увеличил до 32, посмотрим как пойдет
источник

ME

Max Efremov in Airflow
Вроде нет
источник

ME

Max Efremov in Airflow
Можно какой-то юзерскрипт написать к браузеру)
источник

AM

Aлексей Mатюхин... in Airflow
Понял. Большое спасибо.
источник

RF

Ruslan Fialkovsky in Airflow
Всем привет.
Посоветуйте пожалуйста, как лучше сделать:
у меня два воркера, мне необходимо обеспечить одновременный запуск 100 тасок на каждом.

Сейчас sql_alchemy_pool_size = 1 и sql_alchemy_max_overflow = 10
получается что max_connections на постгре нужно ставить минимум 2000 ?

И вот у меня дилема нормально ли это 2000 висячих соединений? У меня в постгресе есть еще другие базы, не будет ли аффект на них с таким количеством соединений?

Может вообще отключить пул соединений sql_alchemy_pool_enabled = false
и так будет лучше чем держать 2000 коннектов?

или уменьшить sql_alchemy_max_overflow до 2-3?
источник