Size: a a a

2021 May 27

ММ

Максим Мартынов... in Airflow
Внутри блока try с непосредственным выполнением таски перехватываются исключения, на AirflowSkippedException состояние меняется на skipped и пишется сообщение в лог, но нет return, поэтому выполнение идёт дальше, а там без условия в лог выводится success, хотя состояние прежнее
источник
2021 May 28

SO

Simon Osipov in Airflow
Привет, а как правильно подебажить KubernetesExecutor + KubernetesPodOperator
Dag создает под, но внутри пода логи ничего не дают полезного.


Running <TaskInstance: test-pipeline.simple_python_task 2021-05-28T08:32:56.525165+00:00 [failed]> on host testpipelinesimplepythontask.c50f80254c5647f588b60334bbfe6102
Running <TaskInstance: test-pipeline.simple_python_task 2021-05-28T08:32:56.525165+00:00 [failed]> on host testpipelinesimplepythontask.c50f80254c5647f588b60334bbfe6102



Если сделать describe, то там вроде все похоже на правду:

base:
   Container ID:  containerd://d2f77c5230444ceb63858431a34c9cdab31de12e48a51980e1d1e399dd0318c3
   Image:         artifactory/airflow:latest
   Image ID:      iartifactory/airflow@sha256:7d424081e2a84147731ea2ee463664adcbbd563d54e9b19fe4bab869cb46fa75
   Port:          <none>
   Host Port:     <none>
   Args:
     airflow
     tasks
     run
     test-pipeline
     simple_python_task
     2021-05-28T08:32:56.525165+00:00
     --local
     --pool
     default_pool
     --subdir
     /opt/airflow/dags/6e0889acd7573f5754fcdffd25804faf865d8b99/dag_utility_test_dag.py
источник

A

AE in Airflow
м?
источник

SO

Simon Osipov in Airflow
стоит
и get_logs тоже
источник

R

Rus in Airflow
Народ , подскажите пожалуйста как выйти из CLI Airflow и  как создать юзера при первой установке?
источник

SO

Simon Osipov in Airflow
Базу данных создал уже?
источник

ММ

Максим Мартынов... in Airflow
Ctrl+C
источник

R

Rus in Airflow
источник

R

Rus in Airflow
спасибо!
источник

🌌[

🌌El.Randir/42ᅠ [AD]... in Airflow
Это не CLI, это ты запустил, и он логирует всё что есть..
Запускай через screen
источник

R

Rus in Airflow
словеса незнакомые мне пока что.
источник

SO

Simon Osipov in Airflow
airflow users create \
   --username admin \
   --firstname Peter \
   --lastname Parker \
   --role Admin \
   --email spiderman@superhero.org
источник

🌌[

🌌El.Randir/42ᅠ [AD]... in Airflow
screen -S airflow

Дальше запускаешь airflow
и нажимаешь ctrl+a и ctrl + d
Чтобы потом вернуться к нему,

screen -r airflow
источник

PA

Panchenko Andrey in Airflow
коллеги привет, есть у кого опыт использования аирфлоу в докере на WSL и подъемом через докер компоуз?
Как правильно подкинуть вольюм с дагами?
источник

🌌[

🌌El.Randir/42ᅠ [AD]... in Airflow
Как-то читал, что до сих пор есть баги с WSL
источник

R

Rus in Airflow
а пароль?
источник

SO

Simon Osipov in Airflow
—password
источник

R

Rus in Airflow
спасибо  создал вроде юзера , а все равно ругается
источник

PA

Panchenko Andrey in Airflow
блин ну фигня какая((
тачка рабочая на винде, ненавижу ее
источник

PA

Panchenko Andrey in Airflow
хм а если виртуал бокс?
источник