OI
Size: a a a
2021 February 04
JZ
большое спасибо, пошла читать
OI
OI
большое спасибо, пошла читать
*спойлер
лучше использовать ABSOLUTE
лучше использовать ABSOLUTE
JZ
благодарю)
VS
А можете подсказать где можно почитать об этом? В доке я кажется инфы про инициализацию дага и т.п. не видел, может, конечно, криво смотрел
EK
Т.е. без либы шедулер может упасть примерно на этом шаге?
The scheduler now uses the serialized DAG representation to make its scheduling decisions and the rough outline of the scheduling loop is:
The scheduler now uses the serialized DAG representation to make its scheduling decisions and the rough outline of the scheduling loop is:
VS
не упасть
VS
отказаться инициализировать, выдать лог, послать сигнал в вебсервер (это хз как устроено)
VS
опять таки, вспоминаем питон, pep8 и прочее, если у вас импорт либы где-то в середине, то конечно шедулер может не дойти до этой стадии, ибо этап инициализации не прогоняет/валидирует весь даг, а только его стартовую часть
EK
Ок, спасибо
NH
Привет. Пытаюсь установить Airflow на Ubuntu 20.04. Oracle Virtual box. При запуске airflow scheduler выводит ошибку: from celery.backends.base import BaseKeyValueStoreBackend
ImportError: cannot import name 'BaseKeyValueStoreBackend' from 'celery.backends.base' (/usr/local/lib/python3.8/dist-packages/celery/backends/base.py)
ImportError: cannot import name 'BaseKeyValueStoreBackend' from 'celery.backends.base' (/usr/local/lib/python3.8/dist-packages/celery/backends/base.py)
NH
запустила sudo apt install python3-celery
NH
python3-celery is already the newest version (4.2.1-5ubuntu1).
0 upgraded, 0 newly installed, 0 to remove and 175 not upgraded.
0 upgraded, 0 newly installed, 0 to remove and 175 not upgraded.
NH
подскажите плиз, как запустить airflow scheduler
VN
Коллеги, добрый день.
Если в теле дага написать:
Я правильно понимаю, что подобные вещи нужно оборачивать в PythonOperator?
Если в теле дага написать:
if ....Мы получим зацикливание?
t1 = BashOperator(
task_id= 'create_file',
bash_command=create_command,
dag=dag
)
else ...
Я правильно понимаю, что подобные вещи нужно оборачивать в PythonOperator?
AB
всем привет, подскажите как называется параметр который отвечает за таймаут между окончанием одной таски внтри дага и началом другой?
Может, параллельно что-то крутится, и таска в очереди. Или AF тормозит из-за чего-то.
SG
День добрый, подскажите, можно каким либо простым образом выделить инстанс airwlow красной полоской, с обозначением, что это прод?
VS
через плагин если только, но не уверен