YV
это же не функционал вшитый какой-то дага) это то как ты используешь
Size: a a a
2020 August 06
YV
но история с execution_date и start_date правда не интуитивная, тут не поспоришь
ME
Кажется в этом случае у меня ещё и первый месяц не запроцессился)))
ME
спасибо, буду разбираться и чинить
ME
потому что 1 августа, данных еще за август нет - они будут в сентябре )
у нас есть))
ME
Но вообще логика понятна, да
ME
Хм, лучше бы была какая-то настройка для этого, а то если я буду процессить не execution_date, а дату на месяц дальше, это ещё больше запутает всех...
L
Это как задавать вопрос )) не "когда" а "за какой период"
ME
У нас там снапшоты, т.е. 1 числа каждого месяца фиксируется состояние базы и дальше оно процессится. Так-то да, оно набралось за июль.
AB
Может кто-нибудь проконсультировать про оператор s3_list: он отслеживает изменения файлов с последнего запуска или просто выдает список файлов по ключу?
ME
List all objects from the bucket with the given string prefix in name.
This operator returns a python list with the name of objects which can be used by xcom in the downstream task.
This operator returns a python list with the name of objects which can be used by xcom in the downstream task.
ME
операторы обычно что-то делают, отслеживают сенсоры
ME
Имхо, странный оператор, я просто использовал s3 хук в пайтон операторе и всё)
D
у префекта появился UI?
2020 August 07
NV
✊
OA
Nikita Varganov
✊
✊
