Телеграмм чат группы ruairflow страница 1289

executor_config={
    "KubernetesExecutor": {"request_memory": "6G",
                           "limit_memory": "6G",
                           "request_cpu": "2",
                           "limit_cpu": "2"
                           }
}

источник

10:01пожаловаться #5

OI

Oleg Ilinsky in Airflow

но у меня вот так работает)

источник

10:01пожаловаться #6

OI

Oleg Ilinsky in Airflow

мне кажется, что-то аналогичное должно быть

источник

10:01пожаловаться #7

VP

Vitaly Pismarev in Airflow

Oleg Ilinsky

а, блин
podoperator
у меня kubernetesExecutor
не так понял

спс, попробую.
Просто ml-ки хотят явно указывать ресурсы для контейнеров

источник

10:03пожаловаться #8

OI

Oleg Ilinsky in Airflow

Vitaly Pismarev

спс, попробую.
Просто ml-ки хотят явно указывать ресурсы для контейнеров

resources={'limit_memory': 1, 'limit_cpu': 1},

источник

10:05пожаловаться #9

OI

Oleg Ilinsky in Airflow

Oleg Ilinsky

resources={'limit_memory': 1, 'limit_cpu': 1},

https://cloud.google.com/composer/docs/how-to/using/using-kubernetes-pod-operator

Google Cloud

Using the KubernetesPodOperator | Cloud Composer | Google Cloud

источник

10:06пожаловаться #10

OI

Oleg Ilinsky in Airflow

Oleg Ilinsky

resources={'limit_memory': 1, 'limit_cpu': 1},

Возможно, что-то такое сработает

источник

10:06пожаловаться #11

VP

Vitaly Pismarev in Airflow

Да, я тоже по этой ссылке нашё параметр )

источник

10:06пожаловаться #12

AP

Anton Patsev in Airflow

Коллеги, пытаюсь найти в гугле использование dag, которые расположены на S3. Но ничего не нахожу. Если у вас DAG лежат на S3, то их предварительно копируете с S3 на локальный диск? Другой возможности как я понял нет?

источник

12:51пожаловаться #13

GB

Georgy Borodin in Airflow

Anton Patsev

Коллеги, пытаюсь найти в гугле использование dag, которые расположены на S3. Но ничего не нахожу. Если у вас DAG лежат на S3, то их предварительно копируете с S3 на локальный диск? Другой возможности как я понял нет?

s3fs

источник

12:53пожаловаться #14

YB

YURA BUYLOV in Airflow

Именно так работает gcp composer

источник

12:53пожаловаться #15

AP

Anton Patsev in Airflow

s3fs - монтирование S3 в локальную директорию - логично)

источник

12:55пожаловаться #16

P

Pavel in Airflow

Anton Patsev

Коллеги, пытаюсь найти в гугле использование dag, которые расположены на S3. Но ничего не нахожу. Если у вас DAG лежат на S3, то их предварительно копируете с S3 на локальный диск? Другой возможности как я понял нет?

Мы как раз такие приседания делали. Пока 2 месяца работает такая схема, 100+ дагов, ни единого разрыва))
Только схема без s3fs
Сделали sidecar, положили рядом airflow инстансами, раз в N секунд сиягивает даги с S3.
На s3 кладём при деплое.
Параметр fetch interval (или как он там) в airflow желательно поставить Nx2

источник

15:14пожаловаться #17

DN

Dmitriy Novikov in Airflow

Всем привет, не пойму как гуглить, есть в default_args настройка стопнуть даг если он работает over N time

источник

16:11пожаловаться #18

OI

Oleg Ilinsky in Airflow

Dmitriy Novikov

Всем привет, не пойму как гуглить, есть в default_args настройка стопнуть даг если он работает over N time

timeout