VS
Правда у нас был один ретрай
Size: a a a
2020 December 24
VS
не уверен что это связанно, но и веб-сервер тоже на нескольких машинах
Вроде не должен влиять вебсервер
VS
Если мне не изменяет память, то ссылка на воркер хранится где-то в базе бекенда. Но я не смог однозначно это выявить, когда хотел сделать миграцию логов, при переходе на другой воркер
VS
Выявить ссылку для логов именно, а не воркера, если что
VS
Ща допью кофе и докурю, гляну, что у нас
VS
всем привет! ребят, подскажите плиз, может кто сталкивался с таким.
есть AF с несколькими воркерами (celery executor), и есть даги с ретраями. так вот, если было, допустим, 3 ретрая, и на трейтий даг успешно выполнился, то веб-морда будет искать логи только на последнем воркере. и таким образом мы получаем картину что логов нет для предыдущих попыток выполнить код, если они были на других воркерах
есть AF с несколькими воркерами (celery executor), и есть даги с ретраями. так вот, если было, допустим, 3 ретрая, и на трейтий даг успешно выполнился, то веб-морда будет искать логи только на последнем воркере. и таким образом мы получаем картину что логов нет для предыдущих попыток выполнить код, если они были на других воркерах
да, подтверждаю, аналогичная проблема
VS
в вебке смотрит на ту же ноду (последнюю?), но на другой по факту логи есть
VS
самое интересное, что я точно помню кейс, когда я видул в вебке логи с разных воркеров, надо покопать ситуацию 🤔
GB
всем привет! ребят, подскажите плиз, может кто сталкивался с таким.
есть AF с несколькими воркерами (celery executor), и есть даги с ретраями. так вот, если было, допустим, 3 ретрая, и на трейтий даг успешно выполнился, то веб-морда будет искать логи только на последнем воркере. и таким образом мы получаем картину что логов нет для предыдущих попыток выполнить код, если они были на других воркерах
есть AF с несколькими воркерами (celery executor), и есть даги с ретраями. так вот, если было, допустим, 3 ретрая, и на трейтий даг успешно выполнился, то веб-морда будет искать логи только на последнем воркере. и таким образом мы получаем картину что логов нет для предыдущих попыток выполнить код, если они были на других воркерах
Ну вообще разруливается хранением логов в другом месте. Пока воркер жив, он будет отдавать логи, которые у него есть, но если он вырубается – логи уже не достанешь.
Но если их хранить, например, в S3, они не пропадут
Но если их хранить, например, в S3, они не пропадут
VS
Ну вообще разруливается хранением логов в другом месте. Пока воркер жив, он будет отдавать логи, которые у него есть, но если он вырубается – логи уже не достанешь.
Но если их хранить, например, в S3, они не пропадут
Но если их хранить, например, в S3, они не пропадут
в другом единном месте
VS
и это не "разруливается" - это просто костыль, с точки зрения "разруливания"
VS
Похоже ссылки беруться из таблицы task_instance, хотя по факту их надо брать из таблицы log, вот только непонятно, как это меппить в вебке...
VS
тоже такое, по сути, ссылик строятся на таблице, которая не историчная, поэтому на каждый чих надо слать куда-то инстанс
VS
@TonyDanzaDanceExtravaganza а какая версия у вас airflow?
у меня 1.10.10
у меня 1.10.10
GB
и это не "разруливается" - это просто костыль, с точки зрения "разруливания"
Ну не согласен, что костыль. Логи пишутся-то по дефолту в локальные файлы воркера https://airflow.apache.org/docs/apache-airflow/stable/configurations-ref.html#worker-log-server-port