ME
А как-то можно это исправить, чтобы он запускался в день, когда execution_date идёт?
Size: a a a
2020 August 06
SG
Выставите в start_date часы
SG
Ну и больше вашего отклонения от UTC
YV
Выставите в start_date часы
для месячного так кажется не сработает) только для ежедневного
YV
А как-то можно это исправить, чтобы он запускался в день, когда execution_date идёт?
вопрос зачем? просто надо понять что execution_date - это дата за которую вы процессите данные, а не дата запуска задач - для этого другое поле есть
YV
не очень интуитивно, но что есть
SG
для месячного так кажется не сработает) только для ежедневного
Подождите, а разве это связано? Ведь если хочешь, чтобы он запускался сегодня, но ежемесячно, то выстави старт так, чтобы он попадал в сегодня
SG
вопрос зачем? просто надо понять что execution_date - это дата за которую вы процессите данные, а не дата запуска задач - для этого другое поле есть
Ну и вообще да, можно просто воспользоваться next_execution_date
YV
Подождите, а разве это связано? Ведь если хочешь, чтобы он запускался сегодня, но ежемесячно, то выстави старт так, чтобы он попадал в сегодня
я поняла что изначальный конфуз был из-за месячного дага, где в ласт ране стоит июль и ощущение что он в августе не бежал, но я может не так поняла
SG
я поняла что изначальный конфуз был из-за месячного дага, где в ласт ране стоит июль и ощущение что он в августе не бежал, но я может не так поняла
Сложно сказать без автора, судя по всему. Но лог выглядел так, будто бы там просто не проставлен catchup
ME
вопрос зачем? просто надо понять что execution_date - это дата за которую вы процессите данные, а не дата запуска задач - для этого другое поле есть
Хм, мне просто надо чтобы первого числа каждого месяца запускался даг и процессил данные, причём он понимал, какую дату он процессит сейчас, т..к. он и в бэкфил умеет
YV
Хм, мне просто надо чтобы первого числа каждого месяца запускался даг и процессил данные, причём он понимал, какую дату он процессит сейчас, т..к. он и в бэкфил умеет
он и так понимате, у тебя 1 августа даг процессит данные за июль
YV
не за август
YV
потому что 1 августа, данных еще за август нет - они будут в сентябре )
ME
он и так понимате, у тебя 1 августа даг процессит данные за июль
да, он считывает execution_date и идёт в ту партицию
YV
да, он считывает execution_date и идёт в ту партицию
ну так это ты так поставил
YV
надо execution_date+ месяц
ME
хм
YV
или как корректно должно быть
ME
видимо да...