Телеграмм чат группы ruairflow страница 1066

Size: a a a

Airflow

901 membersпожаловаться на группу

2020 August 17

ДЗ

Денис Загитов... in Airflow

Ребят, есть у кого DMBOK на русском?

источник

16:42пожаловаться #1

Anton Afonin in Airflow

Angelina Kovalenko

И даги должны запускаться по часовой зоне из конфига?
У меня такого не происходит, и вижу много тут и в гугле сообщений про то, что даги все равно по utc фигачат, но как-то ответов на них нет особо, почему это может быть(

image_2020-08-17_16-44-02.png

(20.37 Кб)

источник

16:44пожаловаться #2

Anton Afonin in Airflow

В настройках стоит москва, запуск за 0 часов происходит в 3 по местному

источник

16:44пожаловаться #3

Angelina Kovalenko in Airflow

Anton Afonin

У меня такое было на предудщих, на 1.10.10 такого нет

1.10.11

источник

16:52пожаловаться #4

Angelina Kovalenko in Airflow

Anton Afonin

Если не использовать days_ago )

в start_date тоже?)

источник

16:52пожаловаться #5

Anton Afonin in Airflow

Angelina Kovalenko

в start_date тоже?)

В первую очередь)

источник

16:53пожаловаться #6

Anton Afonin in Airflow

Иначе есть шанс получить даг, который никогда не запустится

источник

16:54пожаловаться #7

Angelina Kovalenko in Airflow

Anton Afonin

В первую очередь)

было такое, теперь получилось) спасибо большое)

источник

16:58пожаловаться #8

Anton Afonin in Airflow

Первое правило аирфлоу - не работает-смотри код)

источник

17:06пожаловаться #9

Vladislav Akatov in Airflow

Наверное, кто-то испытывал такую боль: при подключении к SFTP с приватным ключом paramiko внутри SFTP оператора ругается, что

paramiko.ssh_exception.SSHException: not a valid RSA private key file

, хотя конечно же с этим ключом через FileZilla всё работает...

источник

17:28пожаловаться #10

Combot in Airflow

Добро пожаловать в самое дружелюбное комьюнити.

источник

21:42пожаловаться #11

2020 August 18

Igor in Airflow

здравствуйте привет.

Хочу дёргать аирфлоу по http с аргументом, чтобы он этот аргумент передавал в даг и запускал его. Как это называется и умеет ли аирфлоу в такое? Поиск по вебхукам мне выдаёт всё кроме того что хочу.

источник

09:57пожаловаться #12

АР

Андрей Романов... in Airflow

Igor

находил такое, посмотрите:

https://github.com/teamclairvoyant/airflow-rest-api-plugin#trigger_dag

источник

10:01пожаловаться #13

Igor in Airflow

о, спасибо больше. Нашёл ещё в доках что они про REST API пишут, но страшновато что всё ещё экспериментальное.

источник

10:02пожаловаться #14

АС

Алексей Савельев... in Airflow

пока всегда срабатывало как надо :)

источник

10:06пожаловаться #15

Igor in Airflow

у вас прямо в продакшне? давно?

источник

10:07пожаловаться #16

АС

Алексей Савельев... in Airflow

Igor

у вас прямо в продакшне? давно?

1) У меня пока нет "продакшена"
2) Стабильность работы чего-бы то ни было на чужом "продакшене" не является убедительным свидетельством того, что именно в ваших ЗАДАЧАХ на именно вашей ИНФРАСТРУКТУРЕ это самое "чего-бы то ни было" будет работать также стабильно. В любом случае - системное тестирование - функциональное, (при необходимости нагрузочное) - вот единственная гарантия для вас что система работоспособна.

название "экспериментальное" - не означает что REST API работает как-то по "экспериментальному" не стабильно, скорее это про юзабилити, протокол обмена

источник

10:31пожаловаться #17

Vladislav 👻 Shishkov... in Airflow

"экспериментальное" говорит о том, что api может поменяться 300 раз

источник

10:33пожаловаться #18

ДН

Дмитрий Негреев... in Airflow

У кого-нибудь есть инсталяция с шедулером в кубике?
Если кто-то держит большое кол-во одновременных работающих тасок, интересно какие ресурсы планировщику даете.

источник

10:35пожаловаться #19

АС

Алексей Савельев... in Airflow

Vladislav 👻 Shishkov

"экспериментальное" говорит о том, что api может поменяться 300 раз

Согласен, но пока статка такая: полгода прошло - API пока ни разу не поменялась, при этом вышло три минорных версии Python 3.8 :)

источник

10:36пожаловаться #20