Size: a a a

2018 June 17

KS

Ksenia Stroykova in Airflow
Igor
Всегда воспринимал это сообщение как то, что скедулер отказывается запускать таску, так как она уже ранится.
вроде как это то что celery не подтвердил после таймаута что таска закончена и airflow пытается стартануть новую, но что-то идет не так.

и вроде как это можно починить переопределив эту штуку (1.9.0):
https://github.com/apache/incubator-airflow/blob/1.9.0/airflow/config_templates/default_celery.py#L31

но еще не проверила
источник

KS

Ksenia Stroykova in Airflow
в мастере версия с более удобной настройкой этой штуки, когда там уже новая версия))
источник
2018 June 18

E

Edya in Airflow
коллеги, подскажите, как добавить новый тип соединения?
источник

E

Edya in Airflow
источник

E

Edya in Airflow
*как правильно добавить новый тип соединения
источник

I

Igor in Airflow
fork, improve, pr
источник

E

Edya in Airflow
а плагином как-нибудь можно?
источник

KS

Ksenia Stroykova in Airflow
Edya
а плагином как-нибудь можно?
судя по всему в текущей версии можно добавить плагин, он будет доступен, но его нельзя вывести в общий список
источник

KS

Ksenia Stroykova in Airflow
то есть нужно будет использовать существующие для хранения конфига
источник
2018 June 20

ДС

Дина Сафина in Airflow
Привет!

Мы (Mail.ru Games) ищем себе в команду девопса (https://hh.ru/vacancy/26212869) и DWH-разработчика (https://hh.ru/vacancy/25905639).
И то, и другое — Airflow + Hadoop.
За подробностями ко мне )
источник

VS

Vladislav 👻 Shishkov in Airflow
хадуп обязателен и там и там?
источник

ДС

Дина Сафина in Airflow
Напишу в личку
источник

V

Vladimir in Airflow
Добрый вечер. Подскажите, чему будет равен execution_date у DAG run, если start_date у DAG равен скажем datetime(1990,1,1)и schedule_interval = “0 0 1 * *”? Учитывая что DAG до этого ни разу не запускался?
источник

V

Vladimir in Airflow
(Соответственно ожидаю что execution_date всех тасок в Даге будет от 1990 года)
источник

V

Vladimir in Airflow
(И далее вопрос, в что если у нас уже был один DAG run от 1985 года (то есть до start_date DAGa) и один DAG run от 1995 года (то есть позже start_date DAGa))
источник
2018 June 21

OI

Oleg Ilinsky in Airflow
Привет!
А я правильно понимаю, что нужно, чтобы даг прогрузился начиная с 1990 года по настоящее время за каждый день?
источник

FL

Fedor Lavrentyev in Airflow
У дага есть start date. Его можно поставить побольше 1990го
источник

OI

Oleg Ilinsky in Airflow
первый execution_date будет 1990-01-01, потом 1990-01-02 и т.д.
источник

OI

Oleg Ilinsky in Airflow
Между запусками тасков есть интервал. Бывает, что довольно большой, поэтому просто на инциализацию такого числа тасков уйдет куча времени. Плюс, если нет зависимости от предыдущего запуска, то около 16 инстансов дага будут работать одновременно. И вот я что-то не уверен, что это даст хороший результат)
источник

FL

Fedor Lavrentyev in Airflow
Всё правда. Ставь start date всегда - и будет спокойнее жить.
источник