VS
всем
Size: a a a
2021 April 27
ME
Он для тестирования
ME
Чтобы всё в одном было
GB
Всем привет!
Кому-нибудь удавалось собрать Airflow в докере под arm? А то выдали рабочую лошадку на M1, а насладиться шустрым локальным эирфлоу не получается
Кому-нибудь удавалось собрать Airflow в докере под arm? А то выдали рабочую лошадку на M1, а насладиться шустрым локальным эирфлоу не получается
ME
Там же есть питон?
GB
Конечно. Но мне нужно, чтобы я мог тестить докер-образы до того, как они на прод улетят
GB
Чистая сборка докерфайла из репозитория Airflow тоже фейлится
PA
всем привет, подскажите плизз как можно сгенерить таски для дага?
PA
у меня есть куча однотипных задач, со своими аргуентами и т.д. как мне сгенерить для каждой такой таски обхект в даге?
PA
может и так мне пока непонятно как организовать вот этот список) вот ищу как
PA
нет как список понятно)
PA
нашел это))
спасибо
спасибо
GB
Не очень понятно, что именно ты хочешь сделать, попробую сванговать:
Если одни и те же Python-функции в операторах, то можно сделать словарь вида {'task_id':{'args':['arg1'], 'kwargs':{'kwarg_name': 'kwarg_value'}} (это если нужны и op_args, и op_kwargs, но только тебе пока известно, что нужно менять)
Ну а дальше всё прозаично:
Если одни и те же Python-функции в операторах, то можно сделать словарь вида {'task_id':{'args':['arg1'], 'kwargs':{'kwarg_name': 'kwarg_value'}} (это если нужны и op_args, и op_kwargs, но только тебе пока известно, что нужно менять)
Ну а дальше всё прозаично:
for task_id, task_params in config_dict.items():
task = PythonOperator(task_id=task_id, op_args=task_params['args']...)PA
одна и та же пайтон функция котоая будет стучать в АПИ
в функции будет меняться название и параметры для её испольнения
в функции будет меняться название и параметры для её испольнения
GB
Ну вот я скинул пример для такого. Ещё можно разбить на отдельные даги, конечно: так Airflow будет терпимее к тому, что у тебя поменяется список параметров