Телеграмм чат группы ruairflow страница 1494

15:54пожаловаться #1

Переслано от Rus

Народ может кто подскажет, как прописать ОТДЕЛЬНЫЙ скрипт с описанием дага и тасок , в котором бы вызывались на исполнение скрипты из файлов расположенных в папке airflow/dags/ как на картинке.
Часть файлов содержат скрипт на R , часть файлов содержат обычный питоновский скрипт...

16:04пожаловаться #2

а в Airflow вообще возможно задать запуск R scripta ?

16:22пожаловаться #3

через bash оператор мб

16:23пожаловаться #4

просто сделать даг, там баш операторы, которые вызывают нужные скрипты и всё

16:24пожаловаться #5

[AIRFLOW-2193] Add ROperator for using R by briandconnelly · Pull Request #3115 · apache/airflow

https://github.com/apache/airflow/pull/3115
пытались сделать ROperator, но забили, баш работает нормально

GitHub

Make sure you have checked all steps below.
JIRA

My PR addresses the following Airflow JIRA issues and references them in the PR title. For example, "[AIRFLOW-XXX] My Airflow PR&quot...

16:26пожаловаться #6

🌌[

🌌El.Randir/42ᅠ [AD]... in Airflow

Ребят: логи же хранятся, если airflow поднят в докере, в контейнере :?
Можно как-то вывести их хранение на машину непосредственно :?

Можно ссылкой на тутор

16:36пожаловаться #7

можно примонтировать папку логов)

16:36пожаловаться #8

volumes:
      - ./mnt/airflow/airflow.cfg:/opt/airflow/airflow.cfg
      - ./mnt/airflow/logs:/opt/airflow/logs

16:37пожаловаться #9

а пример можешь показать, если не трудно?

16:38пожаловаться #10

https://airflow.apache.org/docs/apache-airflow/stable/howto/operator/bash.html

16:39пожаловаться #11

увы, не знаю, как R запускается

16:39пожаловаться #12

что-то типа python script.py в bash_command прописать

16:39пожаловаться #13

спасибо, но там даже нет примера как скрипт питона запустить через башоператор

16:48пожаловаться #14

так это же обычный баш

16:49пожаловаться #15

любую команду можно, как в консоли запускать

16:49пожаловаться #16

ну может и обычный. я вчера айрфлоу поставил. с баш неделю назад познакомился

16:49пожаловаться #17

run_this = BashOperator(
    task_id='run_me',
    bash_command='python script.py',
)

16:49пожаловаться #18

🌌[

🌌El.Randir/42ᅠ [AD]... in Airflow

Она не будет падать :?

16:50пожаловаться #19

ммм, а почему он может упасть? это просто зеркалирование папки из контейнера на ФС машины с докером (или наоборот)