VS
1. Тьфу, нет
2. Грубо, да
2. Грубо, да
Size: a a a
2021 May 07
VS
У airflow есть параметр, который отвечает за перечитку дагов у шедулера в секундах
GB
2021 May 08
AP
Коллеги, подскажите, при переходе на airflow2 стала падать долгая задача на bash. В airflow2 были ли добавлен или изменен какой нибудь таймаут?
AP
[2021-05-08 07:08:27,380] {local_task_job.py:188} WARNING - State of this instance has been externally set to skipped. Terminating instance.
[2021-05-08 07:08:27,383] {process_utils.py:100} INFO - Sending Signals.SIGTERM to GPID 4452
[2021-05-08 07:08:27,383] {taskinstance.py:1265} ERROR - Received SIGTERM. Terminating subprocesses.
[2021-05-08 07:08:27,383] {bash.py:185} INFO - Sending SIGTERM signal to bash process group
[2021-05-08 07:08:27,393] {taskinstance.py:1482} ERROR - Task failed with exceptionAP
AP
Коллеги, этот параметр влияет?
dagrun_timeout=timedelta(minutes=60),
2021 May 10
ME
Воркеры из того же имаджа у меня
ME
Т.е. один пропатченый официальный имадж и с него разные контейнеры в докере: вебсервер, скедулер, флауэр, воркеры
AC
Добрый день! Подскажите, что стоит ожидать при обновлении Airflow до 2.0.х ? В плане заведутся ли старые даги (сейчас 1.10) ?
Второй вопрос: на текущей версии Airflow не получается сбилдить зависимости от aiohttp. Конкретно проблема сначала с yarl, затем с multidict. Пробовали разные версии. Кто-нибудь сталкивался?
Второй вопрос: на текущей версии Airflow не получается сбилдить зависимости от aiohttp. Конкретно проблема сначала с yarl, затем с multidict. Пробовали разные версии. Кто-нибудь сталкивался?
GB
Всё будет быстрее, breaking change, с которым столкнулся – LatestOnlyOperator больше не выполняет python_callable, а действует наподобие ShortCircuitOperator-а. Импорты в стиле первого Airflow работать будут, но подсветка в IDE будет напоминать о том, что скоро они совсем уже депрекейтнутся.
По второму вопросу: а на что именно ругается? Попробуй дописать в начале requirements.txt строчку “
По второму вопросу: а на что именно ругается? Попробуй дописать в начале requirements.txt строчку “
-c урл_contraints_файла” (см. в их репе на гите). В целом могу посоветовать использовать pip-tools для управления зависимостями (хотя документация Airflow и говорит, что официально они поддерживают только pip)AC
Понял, спасибо. Ругается так: Could not build wheels for yarl, multidict which use PEP 517 and cannot be installed directly
GB
Ну это похоже на отсутствие системных зависимостей, как подсказывает беглый гуглёж. Как развернут Airflow?
AC
с чартом едет сейчас apache/airflow:1.10.12-python3.6, я не разворачивал и не разбираюсь в кубернетесах
GB
Ну тебе хватит просто убедиться, что докер-образ нормально собирается, так что в кубере разбираться не придётся, хватит докерфайла/команды для билда