K
ааа, я понял, max_active_runs = 1 Airflow не запустит следующий цикл дага пока прошлый не пройдет
а concurrency, как раз для таск инстансов
сори, затупил
а concurrency, как раз для таск инстансов
сори, затупил
Size: a a a
2020 November 12
K
всем еще раз спасибо за помощь)
DN
Всем привет, а кто как проверяет наличие файла на локальной машине если airflow в докере стоит? без проброски вольюмов:?
🚀Г
Всем привет, а кто как проверяет наличие файла на локальной машине если airflow в докере стоит? без проброски вольюмов:?
Никак. Из докера не видны файлы хостовой тачки без проброса
DN
Никак. Из докера не видны файлы хостовой тачки без проброса
Тут речь не про докер на самом деле, то что без вольюмов не работает я вкурсе, отсюда и вопрос, если ли какойто сенсор который может ходить на удаленный хост и проверять наличие файла там? Или без танцев с бубном не реализовать?
🚀Г
Можно на удалённом серваке поднять python'оприложуху на fkask'е с единственным эндпоинтом, вызов которого будет запускать метод проверки существования файла
Но это танец с бубном, как по мне =)
Но это танец с бубном, как по мне =)
M
Тут речь не про докер на самом деле, то что без вольюмов не работает я вкурсе, отсюда и вопрос, если ли какойто сенсор который может ходить на удаленный хост и проверять наличие файла там? Или без танцев с бубном не реализовать?
ну тут вопрос только в том, как сенсор будет ходить на удаленный сервер
можно по sshhook, можно по ftphook если есть ftp, но сенсор скорее всегда придется самостоятельно делать (это просто)
можно по sshhook, можно по ftphook если есть ftp, но сенсор скорее всегда придется самостоятельно делать (это просто)
DN
ну тут вопрос только в том, как сенсор будет ходить на удаленный сервер
можно по sshhook, можно по ftphook если есть ftp, но сенсор скорее всегда придется самостоятельно делать (это просто)
можно по sshhook, можно по ftphook если есть ftp, но сенсор скорее всегда придется самостоятельно делать (это просто)
ок, покопаю в эту сторону
ME
раньше у меня логи писались на S3 и в UI когда открываешь, то с S3 всё подтягивалось. Я добавил селери и теперь логи фетчатся с воркеров. А можно как-то заставить воркеры тоже на s3 всё кидать?
2020 November 13
GB
раньше у меня логи писались на S3 и в UI когда открываешь, то с S3 всё подтягивалось. Я добавил селери и теперь логи фетчатся с воркеров. А можно как-то заставить воркеры тоже на s3 всё кидать?
Ну как бы Celery никак не мешает логи писать в S3, у меня вот пишутся. Нужна комбинация этих core параметров конфигурации, полагаю, что на воркерах они тоже должны быть доступны
remote_logging = True
remote_base_log_folder = s3://...
remote_log_conn_id = aws_default (в большинстве случаев)ME
Хм, хотел ответит, что у меня единый конфиг для воркеров и основы, но понял, что сейчас задаю всё переменными окружения. Спасибо, проверю
ДС
Привет, коллеги :-)
2020 November 14
ДН
Кто-нибудь катал бетку 2.0? Как там импорт плагинов изменился?
Вижу что в AirflowPlugins нет атрибута operators, и через airflow.operators.my_plugin не видит модули.
Вижу что в AirflowPlugins нет атрибута operators, и через airflow.operators.my_plugin не видит модули.
2020 November 15
A
A
на мой скромный взгляд - гадость редкостная, еще нет мажерного релиза. Очень сложно сделали конфиг если нет UI.
VN
а про даты релиза никто не слышал ничего определённого?