В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Airflow

1069 membersпожаловаться на группу
2020 December 28

GB

Georgy Borodin in Airflow
Sergey Gavrilov
Думаю, код будет достаточно ясным:
       for dag_run in DagRun.find(dag_id=self.analyticsDagId, state=State.FAILED):  # type: DagRun
            for ti in dag_run.get_task_instances(state=State.FAILED):  # type: TaskInstance
               clear_task_instances([ti], Session, activate_dag_runs=True)
               return
Это не решит проблему последовательного бэкфилла, там с токенами очень всё не для людей у сервиса
источник
15:13пожаловаться#1

GB

Georgy Borodin in Airflow
Плюс, если задача стоит грузить сначала первый день, исторические данные таким макаром не достать, кроме как руками триггерить
источник
15:14пожаловаться#2

SG

Sergey Gavrilov in Airflow
Georgy Borodin
Это не решит проблему последовательного бэкфилла, там с токенами очень всё не для людей у сервиса
Не очень понимаю связь между токеном и бэкфиллом, если честно. Последовательность даёт сортировка по дате зафейленных дагранов
источник
15:15пожаловаться#3

ФЧ

Филипп Чистяков... in Airflow
Sergey Gavrilov
Не очень понимаю связь между токеном и бэкфиллом, если честно. Последовательность даёт сортировка по дате зафейленных дагранов
Я так понимаю, что Георгий про сервис из которого я выгружаю данные, там в их api очень много подводных камней
источник
15:16пожаловаться#4

GB

Georgy Borodin in Airflow
Sergey Gavrilov
Не очень понимаю связь между токеном и бэкфиллом, если честно. Последовательность даёт сортировка по дате зафейленных дагранов
AppsFlyer даёт небольшое количество использований токена ежедневно. И сжигает их за 99% запросов. Оверлап случится рано или поздно, если даг раны чистить, и выйдет ерунда
источник
15:16пожаловаться#5

SG

Sergey Gavrilov in Airflow
Ну сорян, но обновлением токена должен заниматья класс / таск, который обеспечивает загрухку данных, а не таска, которая обнуляет таскИнстансы)
источник
15:16пожаловаться#6

GB

Georgy Borodin in Airflow
Sergey Gavrilov
Ну сорян, но обновлением токена должен заниматья класс / таск, который обеспечивает загрухку данных, а не таска, которая обнуляет таскИнстансы)
Ну тут задача даже не в обновлении, у тебя просто n операций на день)
источник
15:17пожаловаться#7

SG

Sergey Gavrilov in Airflow
Я для Google Analytics-а такую напилил за пару часов, не думаю, что AppFlyer сильно сложнее
источник
15:17пожаловаться#8

v

vasiliy in Airflow
Коллеги, доброго времени суток. Быть может уже есть нормальный докерфайл с Airflow 2.0 и helm чарт, никто не щупал?
источник
15:17пожаловаться#9

ФЧ

Филипп Чистяков... in Airflow
Sergey Gavrilov
Я для Google Analytics-а такую напилил за пару часов, не думаю, что AppFlyer сильно сложнее
Я для га тоже напилил за пару часов)
источник
15:17пожаловаться#10

SG

Sergey Gavrilov in Airflow
Georgy Borodin
Ну тут задача даже не в обновлении, у тебя просто n операций на день)
Ну, если я предлагаю считать ошибки, то можно поблизости в том же KeyValueStorage считать и запросы, чтобы фейлить все последующие таскраны
источник
15:17пожаловаться#11

SG

Sergey Gavrilov in Airflow
И обнуляющая таска всё это добро врубает в тот момент, когда "узнаёт", что всё, можно запрашивать новый токен
источник
15:18пожаловаться#12

SG

Sergey Gavrilov in Airflow
Просто я сейчас не рисую что-то мегасовершенное, а это единственный способ утилизации 1-го аккаунту по-максимуму. Если вы начинаете создавать много бесплатных аккаунтов и перекидываете во время записи токены учёток как "горячую картошку", то тут уже начинается "рокет саенс", но для этого надо быть в курсе AppsFlyers, к чему я, увы, отношения не имею
источник
15:19пожаловаться#13

IK

Ivan Kizimenko in Airflow
я может чего то не пойму, но надо ли что то подключать чтобы использовать Jinja переменные в дагах:
AIrflow 2
Обычный питон оператор, в строке вставляю {{ ds }}  но магии не просиходит и там так и остается  {{ ds }}
источник
15:41пожаловаться#14

GB

Georgy Borodin in Airflow
Ivan Kizimenko
я может чего то не пойму, но надо ли что то подключать чтобы использовать Jinja переменные в дагах:
AIrflow 2
Обычный питон оператор, в строке вставляю {{ ds }}  но магии не просиходит и там так и остается  {{ ds }}
Если мне не изменяет память (не пользуюсь практически темлэйтами), то они работают только в специально предназначенных для этого местах
источник
15:43пожаловаться#15

ME

Max Efremov in Airflow
А оно во всех полях темплейтное стало?
источник
15:43пожаловаться#16

ME

Max Efremov in Airflow
В первом было только в некоторых
источник
15:43пожаловаться#17

IK

Ivan Kizimenko in Airflow
Max Efremov
А оно во всех полях темплейтное стало?
В доках что-то не нашел, думал везде и работает
источник
15:44пожаловаться#18

GB

Georgy Borodin in Airflow
Ivan Kizimenko
я может чего то не пойму, но надо ли что то подключать чтобы использовать Jinja переменные в дагах:
AIrflow 2
Обычный питон оператор, в строке вставляю {{ ds }}  но магии не просиходит и там так и остается  {{ ds }}
Все эти темплэйт-переменные можно сдёргивать, если передавать контекст оператору task = PythonOperator(..., provide_context=True)
источник
15:44пожаловаться#19

ME

Max Efremov in Airflow
Там обычно в классе есть список полей, где работают темплейты
источник
15:44пожаловаться#20