@
Действительно , сэ куа ГБЦ?
Size: a a a
2018 June 21
ДС
Простите, встретили бывшего коллегу )
@
Может подскажете.... А почему если на ФС переименовать файл DAG'a на новое имя то в WEB GUI появляется новый DAG, а старый DAG не пропадает....В БД , а именно в таблице 'dag' , в колонке 'is_active', видно, что в строке с информацией об DAG'e сохраняется значение True ('t'), разве оно не должно само сменится на False('f'), что бы DAG со старым именем пропал из GUI ?
МС
Потому что Airflow одна большая бета? А его веб-интерфейс тянет на альфу? :)
@
Спасибо, это многое объясняет😊 #airflow = #anal_penetration ? 😔
МС
Хм... ну не до такой же степени.
@
Это да, что-то погорячился
SS
ну фууу, отличный продукт для опенсорса
@
Надеюсь😊Покрутим, поглядим
2018 June 28
KS
Привет всем. Можно ли как-то ускорить планирование задач? Чтобы backfill как-то побыстрее работал. Сейчас у меня планировщик запускает по одному новому интервалу времени, хотя казалось бы их можно хоть все сразу из backfill запланировать и поставить в очередь
SS
привет! какое стоит значение параметра дага "depends_on_past"? выполнение dag-run идемпотентно?
KS
'depends_on_past': False,
KS
я вот смотрю на
# The scheduler can run multiple threads in parallel to schedule dags.
# This defines how many threads will run.
max_threads = 2
мб это оно как раз
# The scheduler can run multiple threads in parallel to schedule dags.
# This defines how many threads will run.
max_threads = 2
мб это оно как раз
SS
еще в конфиге есть параметры:
SS
parallelism = 32
dag_concurrency = 16
dag_concurrency = 16
KS
хм, все числа >10, а запускает все равно по 1. попробую сейчас с тредами
KS
celery