Д
А брокер для чего нужен?
Size: a a a
2020 June 18
Д
1 машину под базу нам выделят
Д
1 машина под вебсервер+шедулер+воркер есть
Д
Брокер что нам даст?
VS
не могу найти более красивую картинку что-то, сайт почему-то тормозит
Д
Брокер хранит команды которые будут исполняться?
VS
выстраивает очередь
SG
От этого обсуждения веет безумием.
Вы попробуйте запустить всё в докер-композе на одной машине (шедулер — селери) и забросьте туда хотя бы 2 десятка этих ваших дагов.
Потому что я вижу, что вы не особо понимаете, о чём речь
Вы попробуйте запустить всё в докер-композе на одной машине (шедулер — селери) и забросьте туда хотя бы 2 десятка этих ваших дагов.
Потому что я вижу, что вы не особо понимаете, о чём речь
Д
От этого обсуждения веет безумием.
Вы попробуйте запустить всё в докер-композе на одной машине (шедулер — селери) и забросьте туда хотя бы 2 десятка этих ваших дагов.
Потому что я вижу, что вы не особо понимаете, о чём речь
Вы попробуйте запустить всё в докер-композе на одной машине (шедулер — селери) и забросьте туда хотя бы 2 десятка этих ваших дагов.
Потому что я вижу, что вы не особо понимаете, о чём речь
Т.е. airflow в LocalExecutor вообще не применим вы хотите сказать?
VS
для разработки 😬
Д
Ну параллельно на LocalExecutor смогут выполняться 5 дагов с одним таском и 7 дагов в которых 5 тасков?
VS
смогут, но мы вас предупреждали
Д
Что все будет падать?)
VS
неизвестно, непредсказуемо
Д
Ну чтож) еще машину нам не дадут это точно) поэтому имеем что имеем)
Д
Вернусь позже расскажу как все заработало если получится)
SG
Асинхронную приложуху лучше написать для шедулинга, попомните мои слова
Д
Хорошо) Спасибо за советы!)
Д
А у нас вообще существуют курсы администрирования airflow или Митапы на эту тему, где старшие товарищи делятся опытом и наставляют неразумных?)