Size: a a a

2021 February 09

ИК

Илья Китов in Airflow
Павел Приказчиков
Почему то подумал что исходящее соединение нужно настраивать. Airflow к базе подцепилось, спасибо. Но при загрузке тестового примера возникла ошибка    
from airflow.operators.bash import BashOperator
ModuleNotFoundError: No module named 'airflow.operators.bash'.
Но разве пакеты для операторов нужно доустанавливать? Использую образ puckel/docker-airflow.
Bash в этом образе вроде должен стоять

А некоторые из пакетов добавлять всё же надо будет в билде, там есть аргументы airflow_deps и python_deps, посмотри вот тут описание - https://hub.docker.com/r/puckel/docker-airflow/
источник

GB

Georgy Borodin in Airflow
Павел Приказчиков
Почему то подумал что исходящее соединение нужно настраивать. Airflow к базе подцепилось, спасибо. Но при загрузке тестового примера возникла ошибка    
from airflow.operators.bash import BashOperator
ModuleNotFoundError: No module named 'airflow.operators.bash'.
Но разве пакеты для операторов нужно доустанавливать? Использую образ puckel/docker-airflow.
Попробуй так:
from airflow.operators.bash_operator import BashOperator
источник

ПП

Павел Приказчиков... in Airflow
Georgy Borodin
Попробуй так:
from airflow.operators.bash_operator import BashOperator
заработало, спасибо. Похоже использую туториал  прошлых версий.
источник

GB

Georgy Borodin in Airflow
Павел Приказчиков
заработало, спасибо. Похоже использую туториал  прошлых версий.
Наоборот)
источник

AP

Andrey Pak in Airflow
Всем привет. А в разработке версия убунты имеет какое-то критичное значение?
источник

GB

Georgy Borodin in Airflow
Andrey Pak
Всем привет. А в разработке версия убунты имеет какое-то критичное значение?
Было бы странно. А в чем реально вопрос?
источник

AP

Andrey Pak in Airflow
Да вот мучаюсь с тестами.

sudo breeze --backend mysql --mysql-version 5.7 --python 3.8 --db-reset --test-type All  tests

Пытаюсь запустить, а они с ошибками
источник

М

Михаил in Airflow
День добрый. Подскажите пожалуйста. Есть DAG, который проверяет наличие определенной строки в таблице БД, затем делает транкейт уже другой таблицы и инсертит в нее данные. Так вот, первые 2 пункта отрабатывают нормально, третий пункт работает, через пару минут падает с ошибкой, но при этом, запрос в базе продолжает работать и отрабатывает, но при этом через раз бывает, что запрос на insert запускается второй раз, в логах airflow ошибок и повторных запусков нет.
источник

M

Mark in Airflow
Михаил
День добрый. Подскажите пожалуйста. Есть DAG, который проверяет наличие определенной строки в таблице БД, затем делает транкейт уже другой таблицы и инсертит в нее данные. Так вот, первые 2 пункта отрабатывают нормально, третий пункт работает, через пару минут падает с ошибкой, но при этом, запрос в базе продолжает работать и отрабатывает, но при этом через раз бывает, что запрос на insert запускается второй раз, в логах airflow ошибок и повторных запусков нет.
возможно где-то таймаут
источник

М

Михаил in Airflow
Mark
возможно где-то таймаут
Вопрос где, посмотрел конфиг, не нашел похожего, пробовал выставлять параметр execution_timeout, не помогло
источник

M

Mark in Airflow
а как вы коннекшн создаете?
источник

М

Михаил in Airflow
Сам конекшн через веб интерфейс airflow
источник

М

Михаил in Airflow
Далее указываю его в conn_id в таске
источник

ME

Max Efremov in Airflow
А через REST вообще можно выполнить аналог консольной airflow clear?
источник

ME

Max Efremov in Airflow
источник

ME

Max Efremov in Airflow
тут что-то очень грустно всё
источник

ME

Max Efremov in Airflow
из создания только пул и дагран...
источник

ME

Max Efremov in Airflow
Хм, у меня пока только есть идея автоматизировать запуск cli команд на сервере, но чот как костыль выглядит)
источник

ME

Max Efremov in Airflow
Есть какие-то более умные варианты?)
def clear_day_for_dags(dags, date):
   for dag in dags:
       system(f"yes yes | airflow clear --start_date {date} --end_date {date} {dag}")
источник

ME

Max Efremov in Airflow
вроде работает, но из минусов - надо прям в докер контейнере запускать в REPL питона
источник