Раны бы сделать по появлению новых данных, ожидается сотни в день

Раны будете триггерить по апи?

Короче, вы просто будете перезапускать этот даг кучу раз, можно передавать данные в conf, от которых будет зависеть ветвление. Это самый логичный вариант, но удобно ли это с точки зрения ручной организации работы – зависит от ваших инструментов и упорства

Звучит норм. Спасибо. Будем триггерить по апи, да

Учтите, что сейчас есть проблема с АПИ: последовательные вызовы будут фейлиться (если память не изменяет, это связано с нормализацией микросекунд), будет отдавать 400-ые и даже не создаваться, т.к. в бд уже будет такой даг ран

О_о

Окей, посмотрим

Не чаще раза в секунду можно даг запускать один и тот же

Именно

Привет
Ребят,  при работе с Oracle, кто-то сталкивался с проблемой, когда соединение просто провисает?
Нет ни ошибок, ни таймаута
Данные выгружаю через панду, с чанксайзом
При дебаггинге понял, что зависает на cursor.fetchmany(chunksize)
Уходит в вечное ожидание
На стороне БД моё соединение исчезает, но в самой джобе стоит просто в айдле
Если эту же задачу проганять руками (а-ля jupyter) то при убийстве клетки, в которой ушло в айдл, сообщает что не  может отправить break signal в базу
При трассировке запросов каких-либо локов не выявлено, аудит выключен
Данное поведение случайно, но как мне кажется, зависит от полученного объёма данных
Кто-то может подсказать, куда стоит копать?
Админ прав к бд не имею, увы

есть проблема. после некоторого времени у воркера кончается память, почти все даги запускают код на кубе, на воркерах крутится пара легких ETL. параллельно с этим память кончается на шедулере. похоже на какаю-то утечку...
было у кого?
airflow 1.10.9

Обновитесь на 1.10.10

вот, как раз собираемся. а не подскажете нормер тикета в багтрекере, который пофиксили в 10.10?

А я не подтверждал баг, я просто рекомендую обновится 😬

🙂

Могу сказать только, что в девятке у нас было много проблем, сам по себе релиз касячный, имхо

по воркеру - это Celery, она всегда по памяти утекала, с 5+ вроде как это починили - но я не проверяла, недавно ребята просто графиками делились с нагруженного сельдерея

Настали великие времена и celery (начиная с 5.x) перестал течь 🎉

как-то так это выглядело, за шедулер сказать не могу ничего

Сидим на 4.4.0 и не течет