ДЖ
в Dockerfile
Size: a a a
2021 May 14
SC
вполне
SC
у меня вот так всё норм работает
ДЖ
Тогда как мне лучше сделать, есть часть пакетов, которые могут быть установлены только под root - драйвера odbc, а установку пакетов можно сделать и под обычным пользователем. Какая учетная запись обучного пользователя - airflow?
SZ
Официальный образ использует вот такие данные:
AIRFLOW_UID=1000
AIRFLOW_GID=0
AIRFLOW_UID=1000
AIRFLOW_GID=0
ДЖ
Коллеги, может кому будет полезно. Установка пакетов через apt-get которые невозможно сделать без рута, надо переключаться на пользователя root, все остальное выполнять переключаясь на пользователя airflow после этого. Теперь все пакеты нашлись) Спасибо всем за помощь!
AC
Коллеги, подскажите, допустим у меня PythonOperator вызывает модуль с определенной логикой. В некоторые моменты, мне хотелось бы чтобы даг принудительно уходил в ретрай (т.е. по моему желанию, а не когда у него что-то пошло не так). Как я могу зафорсить даг уйти не ретрай?
SC
Вызвать airflowexception принудительно
SC
Ну или весь питоноператор в try заворачивать, в перед ним while True
SC
И выходить break'ои
AC
@Chernov ну вот да, у меня есть логика с try, есть логика с AirflowSkipException (например когда пришел пустой батч), эксепшена для ретрая не нашел(
AV
Народ а подскажите - юзает кто airflow в kubernetes? В частности как обойти проблему когда таска была отправлена на исполнение а соответсвующий под шедулится не сразу (например в данный момент нет узлов с gpu), при этом healthcheck фейлится и вся таска фейлится, хотя она даже на исполнении не была?
NA
так он должен же в pending состоянии быть, если нет соответствующей ноды
AV
pod - да, висит в состоянии pending-а, но airflow считает что он зафейлилися
IP
1. Оператор который через куб апи создаёт под
2. свой сенсор который чекает статус пода
2. свой сенсор который чекает статус пода
2021 May 15
ДН
Мы вот так юзаем.
Но щас уже не помню почему именно такие настройки)
Но щас уже не помню почему именно такие настройки)
---
apiVersion: rbac.authorization.k8s.io/v1
kind: Role
metadata:
name: airflow
labels:
app: airflow
rules:
- apiGroups:
- ""
resources:
- events
verbs:
- "get"
- "list"
- apiGroups:
- ""
resources:
- pods
verbs:
- "create"
- "get"
- "delete"
- "list"
- "watch"
- apiGroups:
- ""
resources:
- "pods/log"
verbs:
- "get"
- "list"
- apiGroups:
- ""
resources:
- "pods/exec"
verbs:
- "create"
- "get"SO
Спасибо
SK
Можно через пандас - прочитал и записал)