В рейтинге участвует:

групп:

каналов:

Виртуальный сервер на SSD - недорого!

Аренда выделенных и виртуальных серверов (VDS/VPS), хостинг, аренда IP-адресов, администрирование, круглосуточная поддержка

qwarta.ru подробнее

Резервное копирование с проверкой на вирусы!!!

Удобный сервис создания резервных копий на любой сервер сети интернет. Отслеживайте изменения, проверяйте на вирусы. Надежно защитите свой бизнес!

go.backupland.com

Выбираете сервер? Любая конфигурация на заказ!

Аренда физических серверов любых конфигураций под любые запросы - 1С бухгалтерия, игровые сервера, нагруженные проекты, интернет-магазины!

qwarta.ru подробнее

Size: a a a

Airflow

979 membersпожаловаться на группу
2020 October 08

ДН

Дмитрий Негреев... in Airflow
Nikita
У нас в тестах есть на это проверка, если такой таски/дага нет в dagbag, он об этом заорёт
Получается что тест прокатывается по awaits всех конфигов и смотрит есть ли они в dagbag?
источник
10:36пожаловаться#1

ДН

Дмитрий Негреев... in Airflow
И про валидацию конфигов самих хотел спросить.
Видимо у вас тоже есть тесты на это перед деплоем?
источник
10:38пожаловаться#2

N

Nikita in Airflow
Дмитрий Негреев
Получается что тест прокатывается по awaits всех конфигов и смотрит есть ли они в dagbag?
Да, сначала ходим по всем дагам и находим все ExternalTaskSensor, у каждого из них проверяем assert sensor.external_dag_id in dags, следом то же самое для тасок делаем
источник
10:39пожаловаться#3

VS

Vladislav 👻 Shishkov... in Airflow
Дмитрий Негреев
И про валидацию конфигов самих хотел спросить.
Видимо у вас тоже есть тесты на это перед деплоем?
Да, в стадии билда
источник
10:40пожаловаться#4

ДН

Дмитрий Негреев... in Airflow
Nikita
Да, сначала ходим по всем дагам и находим все ExternalTaskSensor, у каждого из них проверяем assert sensor.external_dag_id in dags, следом то же самое для тасок делаем
А, вон как, логично) смысла по самому конфигу бегать нет
источник
10:45пожаловаться#5

ДН

Дмитрий Негреев... in Airflow
Надеюсь последнее)
А почему решили отказаться от версии в dag_id и ставить туда крон?
источник
10:46пожаловаться#6

ДН

Дмитрий Негреев... in Airflow
По-идее же даг барабанить начнет в ui, если таски меняются, а dag_id - нет
источник
10:47пожаловаться#7

N

Nikita in Airflow
Дмитрий Негреев
Надеюсь последнее)
А почему решили отказаться от версии в dag_id и ставить туда крон?
Потому что у разработчика в разы больше шансов забыть поднять версию, чем у эйрфлоу подставить не то расписание)
источник
10:56пожаловаться#8

ДН

Дмитрий Негреев... in Airflow
Nikita
Потому что у разработчика в разы больше шансов забыть поднять версию, чем у эйрфлоу подставить не то расписание)
Да уж) спасибо за ответы!
источник
10:58пожаловаться#9

NV

Nikita Vladivostok in Airflow
Добрый, при включении дага который давно выключен sheduller начинает генерить задания за все время, которое даг был выключен... Как это исправить? Может кто ссылку на документацию дать или так объяснить?
источник
11:13пожаловаться#10

ДН

Дмитрий Негреев... in Airflow
Nikita Vladivostok
Добрый, при включении дага который давно выключен sheduller начинает генерить задания за все время, которое даг был выключен... Как это исправить? Может кто ссылку на документацию дать или так объяснить?
cathup=false
источник
11:18пожаловаться#11

NV

Nikita Vladivostok in Airflow
Дмитрий Негреев
cathup=false
Помогло, спасибо!
источник
11:25пожаловаться#12

VA

Vladislav Akatov in Airflow
Кто-нибудь пытался параметризовать имя файла в EmailOperator-е? Обычный xcom_pull там не работает почему-то..
источник
13:31пожаловаться#13

VA

Vladislav Akatov in Airflow
send_excel = EmailOperator(
    task_id='send_excel',
    to=[
        'email@mail.ru'
    ],
    subject="mysubject {{ task_instance.xcom_pull(task_ids=None, key='to_date') }}",
    html_content=body,
    files=["myfilename_{{ task_instance.xcom_pull(task_ids=None, key='to_date') }} .xlsx"],
    dag=dag
    )
источник
13:32пожаловаться#14

ДН

Дмитрий Негреев... in Airflow
Vladislav Akatov
Кто-нибудь пытался параметризовать имя файла в EmailOperator-е? Обычный xcom_pull там не работает почему-то..
потому что
template_fields = ('to', 'subject', 'html_content')
источник
13:45пожаловаться#15

AS

Andrey Shuster in Airflow
Добрый день. Пробую запустить свеженаписанный пустой оператор из консоли
Получаю airflow.exceptions.DagNotFound: Dag id simple_service_dag not found in DagModel
Airflow сегодня вижу во второй раз в жизни поэтому наверняка что-то упустил в процессе регистрации оператора\дага
источник
14:55пожаловаться#16

AS

Andrey Shuster in Airflow
вопрос снимается, надо было указать правильный пут в AIRFLOW_HOME
источник
15:02пожаловаться#17
2020 October 09

СГ

Станислав Горчаков... in Airflow
привет всем! подскажите, пожалуйста, можно ли изменять объем батчей в GenericTransfer, а то по умолчанию там 1000 всего
источник
11:18пожаловаться#18

СГ

Станислав Горчаков... in Airflow
или подскажите, плиз, какие-то альтернативы
источник
11:20пожаловаться#19

IK

Ilya Kudryashov in Airflow
Всем привет. Может быть кто знает - cloudera стала платной и теперь нужно покупать enterprise лицензию для установки хадуупа. Может быть есть хорошие альтернативы поставщиков хадуупа. Кто как ставит хадууп?
источник
12:20пожаловаться#20