Телеграмм чат группы ruairflow страница 1419

Всем привет, есть сервер назовем его менеджер, где стоит airflow веб-интерфейс, база postgres, redis брокер, elasticsearch. Другой сервер назовем его рабочий, там бегают airflow celery и logstash. Все задачи выполняются и зелёные на интерфейсе, но логи не передаются. Просто кидал текст в logstash, отображается в elasticsearch. Но логи от рабочих не передаются. У кого-нибудь есть рабочие конфиги?

источник

13:11пожаловаться #6

Pavel in Airflow

Сильно зависит от того, как разворачиваете вашу инсталляцию.
Вы про то, что в вебсервере не отобрадаются логи ваших тасок?

источник

13:31пожаловаться #7

Yesset in Airflow

Да, и в elasticsearch тоже не выходит.
на менеджере сервере стоят контейнера apache airflow webserver, apache airflow scheduler, postgres, redis, elasticsearch. На рабочий сервере контейнера airflow celery и logstash.

источник

13:34пожаловаться #8

Pavel in Airflow

логи не отображаются, т.к. они читаются с диска.
для этого необходимо, чтобы и воркеры, и вебсервер смотрели на один и тот же дисковый ресурс (директорию с логами)

источник

13:35пожаловаться #9

Pavel in Airflow

т.е. должна быть шареная директория

источник

13:36пожаловаться #10

Pavel in Airflow

почему зависит от инсталляции сильно: у нас на K8S такое решается с помощью PVC на NFS

источник

13:36пожаловаться #11

Pavel in Airflow

ну, а конфиг самого airflow - там всё просто