SG
Ну вообще всё больше выглядит как то, что вам надо съехать с постгри в редис и сделать полное логирование всех участков, потом накрутить метрики и дашборды, а не куда-то ехать
Size: a a a
2020 June 22
GG
mq - это mq, а не движок выполнения задач
ML
mq - это mq, а не движок выполнения задач
но в зависимости от возможностей брокера, меньше допиливать самим
GG
с этим согласен
GG
нет
AA
Мне кажется, надо настроить для новичков бота, который будет задавать вопрос "для какой цели вы хотите использовать аирфлоу" и потом отвечал "вам не нужен аирфлоу "
GG
Мне кажется, надо настроить для новичков бота, который будет задавать вопрос "для какой цели вы хотите использовать аирфлоу" и потом отвечал "вам не нужен аирфлоу "
+
ST
а никто не сталкивался с ситуацией когда Airflow игнорирует переменные и все равно запускает максимум 16 воркеров? За это насколько понимаю отвечает concurrency
GG
но мне кажется запускать с worker_concurrency=1000 не очень идея )
😂👍
AA
Вообще это было скорее про бесполезность этого чата с текущими советами от участников
ME
Вообще это было скорее про бесполезность этого чата с текущими советами от участников
Или бесполезность airflow, т.к. им нельзя решить никакие задачи
АЖ
Или бесполезность airflow, т.к. им нельзя решить никакие задачи
@aniiid @msemochkin закрывайте чат! 🙂
АЖ
А так-то все просто. Airflow стал модным микроскопом, и им все принялись забивать гвозди. Аналогично происходит с тем же spark-ом. Как обычно, все идут от инструмента, а не от задачи. Отсюда и постоянные странные разговоры тут
AA
Если бы это было так - им бы никто не пользовался)
I
Если бы это было так - им бы никто не пользовался)
Почему, как раз наоборот, все пытаются им пользоваться потому что кто-то где-то ляпнул "если вы используете крон то вам нужен airflow"