Size: a a a

2020 June 25

GG

George Gaál in Airflow
with DAG('docker_dag', default_args=default_args, schedule_interval="5 * * * *", catchup=False) as dag:
       t1 = BashOperator(
               task_id='print_current_date',
               bash_command='date'
       )

       t2 = DockerOperator(
               task_id='docker_command',
               image='centos:latest',
               api_version='auto',
               auto_remove=True,
               environment={
                       'AF_EXECUTION_DATE': "{{ ds }}",
                       'AF_OWNER': "{{ task.owner }}"
               },
               command='/bin/bash -c \'echo "TASK ID (from macros): {{ task.task_id }} - EXECUTION DATE (from env vars): $AF_EXECUTION_DATE"\'',
               docker_url='unix://var/run/docker.sock',
               network_mode='bridge'
       )

       t3 = BashOperator(
               task_id='print_hello',
               bash_command='echo "hello world"'
       )

       t1 >> t2 >> t3
источник

GG

George Gaál in Airflow
смотри
источник

GG

George Gaál in Airflow
базовый пример
источник

GG

George Gaál in Airflow
{{ task.owner }} <- тее никто ведь не мешает сюда подсунуть условно base64(имя_переменной) ?
источник

GG

George Gaál in Airflow
а в docker-entrypoint.sh его вычитать из переменной окружения и положить в файл в локальной файловой системе контейнера?
источник

GG

George Gaál in Airflow
или ты не про это ?
источник

K

KrivdaTheTriewe in Airflow
George Gaál
{{ task.owner }} <- тее никто ведь не мешает сюда подсунуть условно base64(имя_переменной) ?
но у тебя эирфлоу тогда не отреднерит ничо
источник

K

KrivdaTheTriewe in Airflow
и у тя будет {{ DS_NODASH }} условный неотреднерится
источник

SG

Sergey Gavrilov in Airflow
KrivdaTheTriewe
хоть за отклик
Кажется, я правил метод TaskInstance.get_template_context, мне нужно было добавить туда новых переменных. Можете посмотреть, поможет ли в вашем случае
источник

K

KrivdaTheTriewe in Airflow
Да, посмотрю, я вас благодарюю
источник

O

Oleg in Airflow
кидали тут недавно ссылку на вебинар про эирфлоу в докер от епам, он вот сейчас идет, но похоже туда допускают только с епамовским емейлом facepalm
источник

С

Сюткин in Airflow
Oleg
кидали тут недавно ссылку на вебинар про эирфлоу в докер от епам, он вот сейчас идет, но похоже туда допускают только с епамовским емейлом facepalm
Я зарегистрирован на вебинар,но не войти
источник

С

Сюткин in Airflow
Парадокс
источник

O

Oleg in Airflow
я таки вошел, но после танцев с бубном
источник

O

Oleg in Airflow
там нужно сначала на сайт вебинара войти и там залогиниться, а потом уже по ссылке
источник

VS

Vladislav 👻 Shishkov... in Airflow
я считаю, что это вообще хамство, заставлять регаться людей у них на сайте
источник

VS

Vladislav 👻 Shishkov... in Airflow
отправил репорт на митапе
источник

O

Oleg in Airflow
ага и с почтой в @epam.ru
источник

С

Сюткин in Airflow
Oleg
там нужно сначала на сайт вебинара войти и там залогиниться, а потом уже по ссылке
источник

С

Сюткин in Airflow
Чо куда дальше?
источник