Size: a a a

2020 August 19

SK

Serhii Kholodniuk in Airflow
Дмитрий Негреев
Можете 2 дага сделать, у 1ого сенсор, который ожидает завершение второго, если онный запущен
Для сенсора нужен один график, насколько я понял
источник

SK

Serhii Kholodniuk in Airflow
Иначе он не запускается
источник

ДН

Дмитрий Негреев... in Airflow
ну дык говорите что у вас в определенное время запускается 2ой
источник

z

zxyzxy in Airflow
Serhii Kholodniuk
Два процеса с разними графиками. Нужно что-б они не пересекались при записе например в базу
Наверное вам пулы надо посмотреть
источник

SK

Serhii Kholodniuk in Airflow
Дмитрий Негреев
ну дык говорите что у вас в определенное время запускается 2ой
Ок. Один будет завязан через сенсор, а как второй процес не стартануть?
источник

OI

Oleg Ilinsky in Airflow
Vladimir Elfimov
Звучит эротично, а какая задачка?
На вскидку - второй процесс может щелкать boolean переменную в каком нибудь in-memory, которую первый процесс переодически проверяет, хех.
ну вот с семафором каким-нибудь вполне ок
можно хоть в бд ставить флажок.
И в начале каждого дага сенсор на этот семафор.
источник

OI

Oleg Ilinsky in Airflow
главное, не забыть его снимать, в т.ч. в случае падений
источник

OI

Oleg Ilinsky in Airflow
ну и ставить его в одну транзакцию, чтобы не было такого, что оба его проверили, он свободен и поехали работать. хотя это и подразумевает семафор
источник

ДН

Дмитрий Негреев... in Airflow
Serhii Kholodniuk
Ок. Один будет завязан через сенсор, а как второй процес не стартануть?
Пардоньте, можете свой сенсор тогда состряпать, который будет чекать нет ли активных дагранов у 2ого процесса.
источник

SK

Serhii Kholodniuk in Airflow
Дмитрий Негреев
Пардоньте, можете свой сенсор тогда состряпать, который будет чекать нет ли активных дагранов у 2ого процесса.
спасибо
источник

AA

Anton Afonin in Airflow
Дмитрий Негреев
ловлю периодически ошибку
duplicate key value violates unique constraint "task_instance_pkey"
полазил по открым issue, вроде жаловались люди на такое, это с какой-то версии пошло, или какая-то старая проблема?
dag serialization включен?
источник

ДН

Дмитрий Негреев... in Airflow
Anton Afonin
dag serialization включен?
неа
источник

AA

Anton Afonin in Airflow
А в я issue всё-таки что-то есть?)
источник

ДН

Дмитрий Негреев... in Airflow
Anton Afonin
А в я issue всё-таки что-то есть?)
https://issues.apache.org/jira/browse/AIRFLOW-2219?focusedCommentId=16932479&page=com.atlassian.jira.plugin.system.issuetabpanels:comment-tabpanel#comment-16932479
у меня тоже на tiggerdagrunoperator проблема, но я чет пока не вкурил почему это как-то решает проблему
чел просто проверяет существование даграна
мб если его апишка trigger_dag создает, то какие-то проблемы могут быть
источник

AA

Anton Afonin in Airflow
не знаю, что делает tiggerdagrunoperator, но похоже на то, что он пытается создать инстант даграна, который в таблице уже есть
источник

AA

Anton Afonin in Airflow
В общем, надо ковырять код, благо трейс есть в логах)
источник

ИХ

Ильяс Хакиев... in Airflow
всем привет. писал кто нить html страницы? пробую сделать плагин по доке - то одного компонента нет, то другого.  может есть у кого пример или ссылка на нормальный пример?
источник

C

Combot in Airflow
Добро пожаловать в самое дружелюбное комьюнити.
источник

ИХ

Ильяс Хакиев... in Airflow
СДелал по данному примеру :
from airflow.plugins_manager import AirflowPlugin
from flask_appbuilder import BaseView as AppBuilderBaseView

class TestAppBuilderBaseView(AppBuilderBaseView):

   template_folder = '/home/user/airflow/plugins/test_plugin/templates'

   @expose("/")
   def list(self):
       return self.render_template("test.html", content="Hello galaxy!")

v_appbuilder_view = TestAppBuilderBaseView()
v_appbuilder_package = {"name": "Test View",
                       "category": "Test Plugin",
                       "view": v_appbuilder_view}

class AirflowTestPlugin(AirflowPlugin):
   name = "test_plugin"
   appbuilder_views = [v_appbuilder_package]

структуру имею вот такую
Plugins
|_test_plugin
  |_templates
     |_test.html
  test_plugin.py

по какому урлу найти данную страницу? с блюпринтом и фласком дел не имел пока что
источник
2020 August 20

ДН

Дмитрий Негреев... in Airflow
как-то закидывал вопрос про сериализацию объекта сессии БД в XCOM, говорили что можно)
по-факту pickle отсылает с "Cannot serialize socket object", в целом логично

может кто-то извращается с передачей сессии БД между операторами, понимаю что может быть решение в виде упаковки в свой оператор

но у меня может быть например ряд временных таблиц (какие-то параллельно считаются, какие-то последовательно) для достижения конечного результата
и хотелось бы средставами airflow выстраивать зависимости, хотя бы например если расчет какой-то темповой таблицы по середине упал, не нужно было бы заного заполнять те, которые были до нее
источник