C
Size: a a a
2020 September 01
L
Кто-нибудь испытывал проблему: в LocalExecutor при ошибке в тасках scheduler перестает работать и возвращает
The scheduler does not appear to be running.
Прикрутил автоматический перезапуск шедулера
L
Подскажите такой вопрос (наверняка набивший оскомину): интервал в даге - сутки. Как в дагранах оставить execution_date с 00:00 по 23:59, но чтобы стартовала загрузка в 4 часа утра (по прошествии периода)? Вроде и нашел что-то похожее на решение https://stackoverflow.com/questions/53564657/can-i-add-a-delay-to-a-schedule-in-airflow Не не пойму какое лучше, и смущает изменение processing_date
AA
Второй ответ про таймсенсор вроде ок
AA
@olin32e раскказывал, что у них так и работает
OI
Lexis
Подскажите такой вопрос (наверняка набивший оскомину): интервал в даге - сутки. Как в дагранах оставить execution_date с 00:00 по 23:59, но чтобы стартовала загрузка в 4 часа утра (по прошествии периода)? Вроде и нашел что-то похожее на решение https://stackoverflow.com/questions/53564657/can-i-add-a-delay-to-a-schedule-in-airflow Не не пойму какое лучше, и смущает изменение processing_date
Ага, у меня TimeDeltaSensor везде. А расписание одинаковое
OI
как-то так это выглядит
L
Ага, у меня TimeDeltaSensor везде. А расписание одинаковое
А не будет затупливать ран если во время задержки перезапуститься весь airflow (все контейнеры), например?
KG
Добрый день всем. В поиске по чатику не нашел. Если даги эирфлоу запускать в кубере, то сам эирфлоу в кубере тоже держать или лучше отдельно?
AB
Крипово
OI
Lexis
А не будет затупливать ран если во время задержки перезапуститься весь airflow (все контейнеры), например?
ну таск должен будет перейти в ретрай и запуститься заново
VS
они и так отправляются туда, если мне не изменяет память
VS
а где смотрите?
VN
Всем привет! У меня таски дага запускаются только раз в минуту, хотя upstream всё выполнено.
Возможно как-то уменьшить этот интервал? По докам не нашёл
Возможно как-то уменьшить этот интервал? По докам не нашёл