IL
Таску руками триггерю, и она проходит
Size: a a a
2021 March 22
IL
В папке logs/ и правда не появляется инфа
VS
Доброго времени суток всем, по какой причине иногда airflow не пишет/видит логи? Никто не сталкивался? Стартует все в docker
Какой экзекьютер, селери?
IL
Да
VS
Смотрите его логи, через flower например. Ищите свою джобу по id
VS
У нас подобное было, оказалось, там падало со стектрейсом
IL
прокинул на хост логи, в файл отлично пишутся, в вебморде и в апи их не видно
IL
VS
Если речь о задержке шедулера – с ней ничего не поделаешь программно.
Если речь о времени работы таски – искать нужно airflow sla
Если речь о времени работы таски – искать нужно airflow sla
Программно можно сделать, надо смотреть, причину, почему долго стартует, может там большой даг с кучей тасок и образуется очередь, может общая очередь, может шедулер часто тыркается в даги
VS
прокинул на хост логи, в файл отлично пишутся, в вебморде и в апи их не видно
От селери логи не пишутся в файл отдельно, вроде как
IL
IL
пишутся
GB
Программно можно сделать, надо смотреть, причину, почему долго стартует, может там большой даг с кучей тасок и образуется очередь, может общая очередь, может шедулер часто тыркается в даги
Ну я скорее про то, что прописать какое-то ограничение на это невозможно, несовсем корректно понял вопрос, думал, что ему нужно что-то вроде SLA
VS
Ну я скорее про то, что прописать какое-то ограничение на это невозможно, несовсем корректно понял вопрос, думал, что ему нужно что-то вроде SLA
Возможно, в конфиге, просто в какой-то момент можно упереться в железо
VS
Не похоже это на логи селери
VS
Вся боль в том, что шедулер таску отправил в брокер, а воркер на этапе забора упал, но при этом сам воркер еще не начал логировать
VS
Этот момент можно увидеть только в селери
P
Доброго времени суток всем, по какой причине иногда airflow не пишет/видит логи? Никто не сталкивался? Стартует все в docker
Одна из причин: воркеру не хватило памяти на запуск таски
VS
Одна из причин: воркеру не хватило памяти на запуск таски
Как вариант, вроде да, если выделение памяти идет сразу, то воркер может не отсветить
IL
он где то матчит логи с диска в бд своей? похоже на то, что даг начал выполнение, воркер забрал первую, вторую таску а на третей упал и логи не отсветил